sqoop入门实践

Sqoop是一款开源的工具，主要用于在hadoop与传统的数据库(mysql,oracle等)间进行数据的传递，可以将一个关系型数据库（MySQL ,Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

测试环境：

Hadoop + hive (linux) + mysql(windows)

 

测试用例

1，  把mysql上user_info 下的mytable数据导入到hadoop的HDFS中：

 

查看mysql:

          

 

        使用Sqoop工具：

 

        

 

查看hdfs目录：

 

数据导入成功了！

 

2， 把mysql上user_info 下的mytable数据导入到hadoop集成hive中：

 

 

生成map/reduce任务：

 

 

查看Hive路径：

 

 

数据导入hive成功！

 

3， 把hdfs 上数据导入到mysql的user_info/mytable中：

导入数据库查看：

 

运行sqoop命令：

 

Map/reduce任务运行成功：

 

 

查看mysql，多了两条相同数据，导入成功了。