完全分布式集群安装部署sqoop

目录

（1）启动Hadoop集群

​编辑

（2） 使用下面的命令看可否正常显示 HDFS 上的目录列表

​编辑

（3） 使用浏览器查看相应界面

（4）解压并安装Sqoop

（5）配置 MySQL 连接器

（6）配置sqoop-env.sh

（7）启动并验证 Sqoop

---

该部分的安装需要在 Hadoop 已经成功安装的基础上,并且要求 Hadoop 已经正常启动。Hadoop 正常启动的验证过程如下：

（1）启动Hadoop集群

start-all.sh

（2） 使用下面的命令看可否正常显示 HDFS 上的目录列表

hdfs dfs -ls /
​
#或者 
hadoop fs -ls /

（3） 使用浏览器查看相应界面

http://node1:9870

http://node1:8088

该页面的结果跟 Hadoop 安装部分浏览器展示结果一致。 如果满足上面的两个条件，表示 Hadoop 正常启动。

下面的操作都是通过HadoopMaster 节点进行。

本章所有的操作都使用 hd用户，切换用户的命令是：

su hd
密码是：123556

（4）解压并安装Sqoop

使用下面的命令，解压 Sqoop 安装包：

tar -zxvf sqoop-1.4.5.bin__hadoop-2.0.5-alpha.tar.gz
​
cd sqoop-1.5.5.bin__hadoop-2.0.5-alpha

执行一下 ls -l 命令会看到下面的图片所示内容，这些内容是 Sqoop 包含的文件：

（5）配置 MySQL 连接器

将之前配置hive时的 java connector 复制到sqoop依赖库lib中

#在hive的lib依赖库中找到mysql-connector-java-5.1.32.jar
cd /home/hd/software/hive3.1.2/lib
ll | grep mysql
#将其复制到sqoop的lib库中
cp mysql-connector-java-5.1.32.jar ~/software/sqoop-1.4.5/lib/
#查看是否复制成功
cd ~/software/sqoop-1.4.5/lib/
ll | grep mysql

（6）配置sqoop-env.sh

cd /home/hd/software/sqoop-1.4.5/conf
​
cp sqoop-env-template.sh sqoop-env.sh

#编辑
vi sqoop-env.sh

将该文件 sqoop-env.sh 里面的内容替换为：

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hd/software/hadoop-3.3.0
​
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hd/software/hadoop-3.3.0
​
#set the path to where bin/hbase is available
#export HBASE_HOME=
​
#Set the path to where bin/hive is available
export HIVE_HOME=/home/hd/software/hive3.1.2
​
#Set the path for where zookeper config dir is
#export ZOOCFGDIR=

#保存退出
:wq

（7）启动并验证 Sqoop

进入 Sqoop 安装主目录：

cd /home/hd/software/sqoop-1.4.5
​
bin/sqoop help

执行命令后会看到下面的打印输出，表示安装成功：