sqoop的数据调度和导入hive表数据

sqoop的数据调度

在sqoop的bin运行
所上传到hdfs的和上传到hive的表不能重复

从mysql到hdfs

注解
./sqoop import (输入命令)
–connect jdbc:mysql://192.168.88.40:3306/lxq \ (指定连接jdbc端口和数据库名称)
–username root (数据库用户名)
–password 123456 (密码 若不适用明文指定数据库密码 则可以用-P)
–table tlxq (指定数据库中的一张表)
–m 1 (指定使用导入数据的map个数)

命令：
./sqoop import
–connect jdbc:mysql://192.168.88.40:3306/lxq
–username root
–password 123456
–table tlxq
–m 1

从hdfs到mysql

–table user (指定数据库中的一张表)

命令：
./sqoop export
–connect jdbc:mysql://192.168.88.40:3306/lxq
–username root
–password 123456
–table user
–export-dir /user/root/tlxq/part-m-00000

从mysql导入hive 库名lxq 表名test

–delete-target-dir (如果目标目录已存在，则先删除)
–hive-table ht(指定hive数据库中的一个表，可以不写)

命令：
./sqoop import
–connect jdbc:mysql://192.168.88.40:3306/lxq
–username root
–password 123456
–table test
–fields-terminated-by ‘,’
–delete-target-dir
–m 1
–hive-import
–hive-database default
–hive-table ht

从hive导出到mysql 提前建一个表在mysql

–export-dir /user/hive/warehouse/test/part-m-00000_copy_1(输出路径)
在mysql数据库必须创建一个空的tests表。

命令：
./sqoop export
–connect jdbc:mysql://192.168.88.40:3306/lxq
–username root
–password 123456
–input-fields-terminated-by ‘,’
–table tests
–export-dir /user/hive/warehouse/ht/part-m-00000

linux数据本地上传hive表
load data local inpath ‘/opt/b.txt’ into table data partition(time=‘20190118’,pai =‘ios’);

hdfs数据上传hive表
load data inpath ‘/c.txt’ into table data partition(time=‘20190118’,pai =‘ios’);