sqoop之安装与配置

下面来记录并分享下sqoop相关：

1、下载安装包

wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz

2、解压安装包

tar -xvf sqoop-1.99.7-bin-hadoop200.tar.gz
mv sqoop-1.99.7-bin-hadoop200.tar.gz /usr/lib/sqoop
cd /usr/lib/sqoop

3、根据实际安装目录配置环境变量

export HADOOP_HOME=
export HADOOP_COMMON_HOME=
export HADOOP_HDFS_HOME=
export HADOOP_MAPRED_HOME=
export HADOOP_YARN_HOME=
如果已经配置$HADOOP_HOME变量，sqoop将会使用以下路径下的配置文件：
$HADOOP_HOME/share/hadoop/common, $HADOOP_HOME/share/hadoop/hdfs, $HADOOP_HOME/share/hadoop/mapreduce and $HADOOP_HOME/share/hadoop/yarn

4、hadoop配置
修改core-site.xml配置文件：

<property>
  <name>hadoop.proxyuser.sqoop2.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.sqoop2.groups</name>
  <value>*</value>
</property>

修改container-executor.cfg配置文件：

allowed.system.users=sqoop2

5、配置jar

#创建存放jars的文件夹
mkdir -p /var/lib/sqoop2/
#复制所有jdbc驱动到这个目录
cp mysql-jdbc*.jar /var/lib/sqoop2/
cp postgresql-jdbc*.jar /var/lib/sqoop2/
#设置LIB环境变量
export SQOOP_SERVER_EXTRA_LIB=/var/lib/sqoop2/

6、配置PATH

PATH=$PATH:~pwd~/bin/

7、初始化仓库

sqoop2-tool upgrade

8、启动与停止服务
默认会使用12000端口，可以在conf/sqoop.properties文件设置org.apache.sqoop.jetty.port来改变端口。
启动

sqoop2-server start

停止

sqoop2-server stop