Sqoop命令
全量导入
bin/sqoop import \ (输入命令)
--connect jdbc:mysql://hadoop102:3306/testdb \ (指定连接jdbc端口和数据库名称)
--username root \ (数据库用户名)
--password 000000 \ (密码 若不适用明文指定数据库密码 则可以用-P)
--table user \ (指定数据库中的一张表)
--target-dir /input/import \ (指定数据导入到HDFS上的目录)
--delete-target-dir \ //如果目标目录已存在,则先删除
--num-mappers 1 \ (指定使用导入数据的map个数,mapreduce(V1)中的方式可以用-m 1 代替(过时))
--fields-terminated-by "," (目标文件的分隔符, 默认情况下,导入HDFS的每行数据分隔符是逗号)
部分字段导入
bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/sqoop \
--username root \
--password 000000 \
--table user \
--columns "id,account" \
--target-dir /sqoop/query1 \
-m 1 \
--delete-target-dir \
--fields-terminated-by "\t"
查询导入
$sqoop import \
--connect jdbc:mysql://hadoop102:3306/gmall \
--username root \
--password 000000 \
--target-dir /origin_data/gmall/db/$1/$do_date \
--delete-target-dir \
--query "$2 and \$CONDITIONS" \ (查询语句)
--num-mappers 1 \
--fields-terminated-by '\t' \
--compress \
--compression-codec lzop \
--null-string '\\N' \
--null-non-string '\\N'
增量导入
–check-column (col)
用来指定一些列,这些列在增量导入时用来检查这些数据是否作为增量数据进行导入,和关系型数据库中的自增字段及时间戳类似。
注意:这些被指定的列的类型不能使任意字符类型,如char、varchar等类型都是不可以的,同时-- check-column可以去指定多个列。
–incremental (mode)
append:追加,比如对大于last-value指定的值之后的记录进行追加导入。
lastmodified:最后的修改时间,追加last-value指定的日期之后的记录
–last-value (value) :指定自从上次导入后列的最大值(大于该指定的值),也可以自己设定某一值
Append 模式
注意:
1.--append and --delete-target-dir can not be used together.
2.--check-column 不是使用CHAR/NCHAR/VARCHAR/VARNCHAR/ LONGVARCHAR/LONGNVARCHAR这样的数据类型,后面跟 唯一 不重复的列 类似主键
3.--incremental 支持两种模式
append 告诉sqoop是整型数据自增长的方式来区分从哪里开始增量导入
lastmodified 告诉sqoop是最后一次修改文件的时间戳来区分从哪里开始增量导入
bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/test \
--username root \
--password 000000 \
--table sqoop_test \
--num-mappers 1 \
--target-dir /user/bigdata/input \
--fields-terminated-by "," \
--check-column id \
--incremental append \
--last-value 1207 \
测试
在mysql数据库中创建表,插入数据:
CREATE TABLE sqoop_test(id int(11),
name VARCHAR(25),
deg VARCHAR(25),
salary FLOAT ,
dept VARCHAR(25)
);
insert into `test`.`sqoop_test` (`id`, `name`, `deg`, `salary`, `dept`) values ('1208', 'allen', 'admin', '30000', 'tp');
insert into `test`.`sqoop_test` (`id`, `name`, `deg`, `salary`, `dept`) values ('1209', 'woon', 'admin', '40000', 'tp');
LastModified模式
lastModified:append
bin/sqoop import \
--connect jdbc:mysql://node-1:3306/userdb \
--username root \
--password hadoop \
--table customertest \
--target-dir /lastmodifiedresult \
--check-column last_mod \
--incremental lastmodified \
--last-value "2019-05-28 18:42:06" \
--m 1 \
--append
lastmodified模式去处理增量时,会将大于等于last-value值的数据当做增量插入
Lastmodified 模式:merge-by
使用lastmodified模式进行增量处理要指定增量数据是以****append*模式(附加)还是*merge-key****(合并)模式添加
bin/sqoop import \
--connect jdbc:mysql://node-1:3306/userdb \
--username root \
--password hadoop \
--table customertest \
--target-dir /lastmodifiedresult \
--check-column last_mod \
--incremental lastmodified \
--last-value "2019-05-28 18:42:06" \
--m 1 \
--merge-key id
导出
updateonly模式
– update-key,更新标识,即根据某个字段进行更新,例如id,可以指定多个更新标识的字段,多个字段之间用逗号分隔。
– updatemod,指定updateonly(默认模式),仅仅更新已存在的数据记录,不会插入新纪录。
代码:
bin/sqoop export \
--connect jdbc:mysql://hadoop:3306/userdb \
--username root \
--password 000000 \
--table updateonly \
--export-dir /updateonly_2/ \
--update-key id \
--update-mode updateonly
allowInsert模式
– update-key,更新标识,即根据某个字段进行更新,例如id,可以指定多个更新标识的字段,多个字段之间用逗号分隔。
– updatemod,指定allowinsert,更新已存在的数据记录,同时插入新纪录。实质上是一个insert & update的操作。
bin/sqoop export \
--connect jdbc:mysql://Hadoop102:3306/userdb \
--username root --password 000000 \
--table allowinsert \
--export-dir /allowinsert_2/ \
--update-key id \
--update-mode allowinsert