使用Sqoop实现Mysql到Hive的数据导入

使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。

使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下：

• 添加jar

[root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQOOP_HOME/lib

• 启动hive

[root@hadoop02 ~]# hive --service metastore &

• 导入数据

sqoop import --connect jdbc:mysql://hadoop03:3306/test_sqoop --username root --password 123456 --table emp --hive-import --hive-overwrite --fields-terminated-by ',' --hive-table 'test_data.emp';


#导入数据时没有指定在hive中表的名字，那么会直接使用原来在mysql中的表的名字，所以这里数据导入到hive时表名还为emp
#--hive-table 'test_data.emp'指定hive中的库ming.表明，如果不指定，默认导入至default库中

• 在hive客户端查看数据

hive> use test_data;
OK
Time taken: 0.105 seco