sqoop安装

sqoop安装

一. sqoop是什么
sqoop是hadoop生态系统中的数据迁移工具, 可以认为sqoop是hdfs的一个客户端。在关系型数据库中，我们会遇到一种情景，将Oracle数据导入到Mysql，或者将Mysql数据，导入到Oracle。那其实Sqoop也是类似的功能。sqoop可以将Oracle，Mysql等关系型数据库中的数据，导入到HBase，HDFS上，当然也可以从HDFS或HBase导入到Mysql或Oracle上

二. sqoop安装配置

1. 下载
   最新的1.99.7，网址http://mirror.bit.edu.cn/apache/sqoop/1.99.7/
   解压tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz -C path
   mv sqoop-1.99.7-bin-hadoop200 sqoop-1.99.7

2. 配置环境变量
   vi ~/.profile
   export SQOOP_HOME=/mysoftware/sqoop-1.99.7
   export SQOOP_SERVER_EXTRA_LIB=$SQOOP_HOME/extra export CATALINA_BASE=$SQOOP_HOME/server
   export LOGDIR=$SQOOP_HOME/logs 在path加入$SQOOP_HOME/bin
   使其生效source .profile

3. 配置sqoop参数
   打开安装目录下的conf下的sqoop.properties
   org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/mysoftware/hadoop-2.7.3/etc/hadoop
   更改为自己的hadoop配置文件所在的目录
   在命令模式下执行g/@BASEDIR@/s//base/g 全局替换@BASEDIR@为base
   g/@LOGDIR@/s//logs/g
   在安装目录下创建目录logs ， extra
   extra存放第三方连接包防止放入lib中与sqoop自带包冲突

   4.将mysql的驱动jar（mysql-connector-java-5.1.34.jar）复制到extra目录下

三. 测试
sqoop2-tool verify
显示结果
Setting conf dir: /mysoftware/sqoop-1.99.7/bin/../conf
Sqoop home directory: /mysoftware/sqoop-1.99.7
Sqoop tool executor:
Version: 1.99.7
Revision: 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb
Compiled on Tue Jul 19 16:08:27 PDT 2016 by abefine
Running tool: class org.apache.sqoop.tools.tool.VerifyTool
0 [main] INFO org.apache.sqoop.core.SqoopServer - Initializing Sqoop server.
71 [main] INFO org.apache.sqoop.core.PropertiesConfigurationProvider - Starting config file poller thread
Verification was successful.
Tool class org.apache.sqoop.tools.tool.VerifyTool has finished correctly.

安装成功

开启sqoop服务
执行sqoop2-server start

查看进程jps
SqoopJettyServer

启动成功

至此sqoop就安装成功了，不过还得连接mysql,hive才能正式应用