Sqoop连接mysql的参数_sqoop一些常用命令及参数

常用命令列举

这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。

序号

命令

类

说明

1

import

ImportTool

将数据导入到集群

2

export

ExportTool

将集群数据导出

3

codegen

CodeGenTool

获取数据库中某张表数据生成Java并打包Jar

4

create-hive-table

CreateHiveTableTool

创建Hive表

5

eval

EvalSqlTool

查看SQL执行结果

6

import-all-tables

ImportAllTablesTool

导入某个数据库下所有表到HDFS中

7

job

JobTool

用来生成一个sqoop的任务，生成后，该任务并不执行，除非使用命令执行该任务。

8

list-databases

ListDatabasesTool

列出所有数据库名

9

list-tables

ListTablesTool

列出某个数据库下所有表

10

merge

MergeTool

将HDFS中不同目录下面的数据合在一起，并存放在指定的目录中

11

metastore

MetastoreTool

记录sqoop job的元数据信息，如果不启动metastore实例，则默认的元数据存储目录为：~/.sqoop，如果要更改存储目录，可以在配置文件sqoop-site.xml中进行更改。

12

help

HelpTool

打印sqoop帮助信息

13

version

VersionTool

打印sqoop版本信息

2.命令&参数详解

刚才列举了一些Sqoop的常用命令，对于不同的命令，有不同的参数，让我们来一一列举说明。

首先来我们来介绍一下公用的参数，所谓公用参数，就是大多数命令都支持的参数。

2.1 公用参数：数据库连接

序号

参数

说明

1

--connect

连接关系型数据库的URL

2

--connection-manager

指定要使用的连接管理类

3

--driver

Hadoop根目录

4

--help

打印帮助信息

5

--password

连接数据库的密码

6

--username

连接数据库的用户名

7

--verbose

在控制台打印出详细信息

2.2 公用参数：import

序号

参数

说明

1

--enclosed-by

给字段值前加上指定的字符

2

--escaped-by 

对字段中的双引号加转义符

3

--fields-terminated-by 

设定每个字段是以什么符号作为结束，默认为逗号

4

--lines-terminated-by 

设定每行记录之间的分隔符，默认是\n

5

--mysql-delimiters

Mysql默认的分隔符设置，字段之间以逗号分隔，行之间以\n分隔，默认转义符是\，字段值以单引号包裹。

6

--optionally-enclosed-by 

给带有双引号或单引号的字段值前后加上指定字符。

2.3 公用参数：export

序号

参数

说明

1

--input-enclosed-by

对字段值前后加上指定字符

2

--input-escaped-by 

对含有转移符的字段做转义处理

3

--input-fields-terminated-by

字段之间的分隔符

4

--input-lines-terminated-by 

行之间的分隔符

5

--input-optionally-enclosed-by 

给带有双引号或单引号的字段前后加上指定字符

2.4 公用参数：hive

序号

参数

说明

1

--hive-delims-replacement

用自定义的字符串替换掉数据中的\r\n和\013 \010等字符

2

--hive-drop-import-delims

在导入数据到hive时，去掉数据中的\r\n\013\010这样的字符

3

--map-column-hive

生成hive表时，可以更改生成字段的数据类型

4

--hive-partition-key

创建分区，后面直接跟分区名，分区字段的默认类型为