sqoop配置

1. sqoop2

1.1服务器端

选择node4 来安装sqoop2（请删除zookeeper日志、hadoop日志）
首先安装一个命令（四台机器都安装）
下载：

yum search dos2unix

安装：

yum install dos2unix

首先进入hadoop此目录下core-site.xml文件中增加如下的配置,

cd /data/hadoop/hadoop/etc/hadoop

<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>

然后进入到node4中创建sqoop文件夹，将sqoop-1.99.7-bin-hadoop200.tar.gz上传到sqoop文件夹中
解压sqoop2

tar -xzf sqoop-1.99.7-bin-hadoop200.tar.gz

rm -rf sqoop-1.99.7-bin-hadoop200.tar.gz

mv sqoop-1.99.7-bin-hadoop200/ sqoop-2

rm -rf docs/

将mysql的驱动包放到%Sqoop_home%\server\lib下，jar包要匹配自己mysql版本
我用的是mysql-connector-java-8.0.19
修改%Sqoop_home%/conf/sqoop.properties

/data/hadoop/hadoop/etc/hadoop

之后修改bin目录下的sqoop.sh文件
在开头增加如下内容，指定hadoop目录

export HADOOP_HOME=/data/hadoop/hadoop

要主注意jar包冲突，因为我的hadoop版本较高，所以把hadoop中的jar包复制一个到sqoop中，解决jar包冲突问题
hadoop：guava-27.0-jre.jar
sqoop： guava-11.0.2.jar

hadoop\share\hadoop\common\lib\guava-27.0-jre.jar拷贝到/data/sqoop/sqoop-2/server/lib和/data/sqoop/sqoop-2/tools/lib
删除老的,留下新的

然后进入node4

/data/sqoop/sqoop2/server/lib

目录下将comm-lang2.5

下载到桌面

拷贝到hadoop此目录下

/data/hadoop/hadoop/share/hadoop/common/lib/

因为2.5与3.5结构不同，不用担心冲突问题

之后启动zookeeper，hadoop集群，
然后执行初始化命令

如果出现如下错误：

则是换行问题，执行如下命令转换格式即可解决
dos2unix + demo.sh 文件

bin/sqoop2-tool verify

成功：