sqoop配置使用

sqoop是啥

sqoop本质是一个数据迁移工具，它关系导hadoop集群和关系数据库之间。

它就是通过命令，将命令转换成MapReduce。没有啥高级的，就像hive一样，通过将sql命令转换成mapreduce了。

功能有

导入      迁入：从关系数据库比如Mysql，Oracle等导入迁入导HadoopFileSystem中

到处     迁出：从HDFS，Hive，hBase中导出迁出导关系数据库中。

 

安装

去sqoo官网下载对应版本

http://sqoop.apache.org/

它有两个版本，一个是1.x一个是2.x，2.x的许多功能还没有完善，而且和其他组件的版本匹配做的还不是很好。

所以优先选择1.x的最新稳定版1.4.7版本。

这是它的主目录

我们如果要操作对应数据库，前提需要将对应的数据库Driver包导进去，比如我用的mysql

将自己的mysqlDriver包导入了lib目录下。

然后配置conf目录

我是将原来所有的cmd的文件全删了，看着碍眼，也用不到那些。

然后sqoop-env.sh里面需要配置

对应的hadoophome和mapredhome（就是和hadoop一样的，有啥区别我也不知道），如果装了hbase可以配上hbase，装了hive就配上hive，装了zookeeper就配上zookeeper，但是zookeeper要配置到它的配置目录