Hadoop数据入库系统Sqoop原理架构

Hadoop数据入库系统Sqoop原理架构

 

 

Sqoop：SQL-to-Hadoop

     连接传统关系型数据库和Hadoop的桥梁
   把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中；
   把数据从 Hadoop 系统里抽取并导出到关系型数据库里。

     利用MapReduce

     批处理方式进行数据传输

 

 

 

 

1. sqoop import \

2. --connect jdbc:mysql://mysql.example.com/sqoop \

3. --username sqoop \

4. --password sqoop \

5. --table person

6. --target-dir

7. --connnect: 指定JDBC URL

8. --username/password ：mysql 数据库的用户名

9. --table ：要读取的数据库表

 

 

 

1. sqoop export \

2. --connect jdbc:mysql://mysql.example.com/sqoop \

3. --username sqoop \

4. --password sqoop \

5. --table cities \

6. --export-dir cities

7. --fields-terminated-by

8.  

9. --connnect: 指定JDBC URL

10. --username/password ：mysql 数据库的用户名

11. --table ：要导入的数据库表

12. export-dir ：数据在HDFS 上存放目录

 

1. Sqoop 可以与Oozie 、Hive 、Hbase 等系统结合；

2.  

3. 用户需要在sqoop-env.sh 中增加HBASE_HOME 、HIVE_HOME