sqoop2 安装

1.解压安装包

$ tar -zxvf sqoop-1.99.5-bin-hadoop200.tar.gz

$ mv sqoop-1.99.5-bin-hadoop200 sqoop2

$ cd sqoop2/bin/

 

2.配置环境变量

#Sqoop2 环境变量配置

export SQOOP2_HOME=/home/hadoop/sqoop/sqoop2

export PATH=$PATH:$SQOOP2_HOME/bin

 

3.添加执行权限

$ chmod a+x *

 

4.安装依赖

在sqoop的server/conf目录下的catalina.properties文件中配置Hadoop 库的路径，修改common.loader这个参数来包含Hadoop 库的所有目录，输入如下目录进入Hadoop库所在目录

将上图中所有所有目录下的jar包都添加到common.loader参数中，如下

$ cd /home/hadoop/installpkgs/sqoop2/server/conf

$ vi catalina.properties  //添加以下内容，注意修改自己的路径

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/home/hadoop/hadoop-src/hadoop-2.7.3/share/hadoop/common/*.jar,/home/hadoop/hadoop-src/hadoop-2.7.3/share/hadoop/common/lib/*.jar,/home/hadoop/hadoop-src/hadoop-2.7.3/share/hadoop/hdfs/*.jar,/home/hadoop/hadoop-src/hadoop-2.7.3/share/hadoop/hdfs/lib/*.jar,/home/hadoop/hadoop-src/hadoop-2.7.3/share/hadoop/httpfs*.jar,/home/hadoop/hadoop-src/hadoop-2.7.3/share/hadoop/httpfs/../lib/*.jar,/home/hadoop/hadoop-src/hadoop-2.7.3/share/hadoop/mapreduce/*.jar,/home/hadoop/hadoop-src/hadoop-2.7.3/share/hadoop/mapreduce/lib/*.jar,/home/hadoop/hadoop-src/hadoop-2.7.3/share/hadoop/tools/lib/*.jar,/home/hadoop/hadoop-src/hadoop-2.7.3/share/hadoop/yarn/*.jar,/home/hadoop/hadoop-src/hadoop-2.7.3/share/hadoop/yarn/lib/*.jar

把MySQL的JDBC驱动放入sqoop2/server/lib/目录下即可。

配置服务端

服务端的配置文件存放在server/config目录下，修改sqoop.properties中的

org.apache.sqoop.submission.engine.mapreduce.configuration.directory这个属性设置为当前安装Hadoop的配置文件所在目录，比如

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hadoop/installpkgs/hadoop-2.7.3/etc/hadoop

配置sqoop代理访问

因为sqoop访问Hadoop的MapReduce使用的是代理的方式，必须在Hadoop中配置所接受的proxy用户和组，找到Hadoop的core-site.xml配置文件，添加如下内容，重启Hadoop即可。

<property>

<name>hadoop.proxyuser.sqoop2.hosts</name>

       <value>*</value>

</property>

<property>

      <name>hadoop.proxyuser.sqoop2.groups</name>

      <value>*</value>

</property>

启动客户端服务 $ sqoop2-server start

启动客户端  $ sqoop2-shell

查看版本信息 show version

在使用sqoop导入导出数据前，先使用如下命令来查看下详情模式的状态（默认为false）

如果想要在客户端打印更多的详细信息，可以使用如下命令来设置（出现错误，方便排查）

set option --name verbose --value true

Sqoop 1.99.5版本中支持的连接器如下

show connector

创建数据库link对象

创建hdfs的link对象

创建一个job作业

 

查看作业

启动任务（执行MapReduce作业）

Start  job  -j 1 -s