sqoop导入关系表到HIVE

Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具

导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统

导出数据：从Hadoop的文件系统中导出数据到关系数据库

1.hive表存在

将我们mysql表当中的数据直接导入到hive表中的话，我们需要将hive的一个叫做hive-exec-1.1.0-cdh5.14.0.jar的jar包拷贝到sqoop的lib目录下

cp /sdm/install/hive-1.1.0-cdh5.14.2/lib/hive-exec-1.1.0-cdh5.14.2.jar /sdm/install/sqoop-1.4.6-cdh5.14.2/lib/

• 将我们mysql当中的数据导入到hive表当中来

hive (default)> create database sqooptohive;
hive (default)> use sqooptohive;
hive (sqooptohive)> create external table emp_hive(id int,name string,deg string,salary int ,dept string) row format delimited fields terminated by '\001';

bin/sqoop import --connect jdbc:mysql://node03:3306/userdb --username root --password 123456 --table emp --fields-terminated-by '\001'
--hive-import --hive-table sqooptohive.emp_hive --hive-overwrite --delete-target-dir --m 1

select * from emp_hive;

**

2.hive表不存在

**

bin/sqoop import --connect jdbc:mysql://node03:3306/userdb --username root --password 123456 --table emp_conn --hive-import -m 1
--hive-database sqooptohive; 

通过这个命令，我们可以直接将我们mysql表当中的数据以及表结构一起倒入到hive当中去

2. Sqoop的工作机制

• 将导入和导出的命令翻译成mapreduce程序实现

• 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

Sqoop ETL工具

1. 安装VMware15虚拟化软件
2. 安装CentOS 7虚拟机3个
3. 安装3节点的hadoop-2.6.0-cdh5.14.2集群
4. 安装了hive
5. 安装了zookeeper集群
6. 安装了hbase集群