安装部署ETL工具Sqoop的详细流程

一、验证Hadoop集群环境是否正常

备注：该部分的安装需要在 Hadoop 已经成功安装的基础上,并且要求 Hadoop已经正常启动。

1. 使用hdfs dfs -ls / 或者 hadoop fs -ls /命令看可否正常显示 HDFS 上的目录列表 ；

2. ​​​​​​​hdfs dfs -ls /：

 

hadoop fs -ls

2.使用浏览器查看相应界面

8088端口——后面为自己的IP地址：http://192.168.222.200:8088​​​​​

 50070端口——后面为自己的IP地址：http://192.168.222.200:50070

 

 

---

二、上传、解压sqoop安装包;

1. 在Xshell中使用rz -bey来上传（Xshell安装步骤在前方），上传后如下所示：

1. 使用tar -zxvf sqoop-1.4.5.bin__hadoop-2.0.4-alpha命令解压sqoop安装包：

tar -zxvf sqoop-1.4.5.bin__hadoop-2.0.4-alpha

---

三、安装.配置 Sqoop；

cd /home/mysql5.7，后上传mysql-5.7.37....tar.gz（此处路径为自己的路径）

  

Cp mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar/home/zoume/software/sqoop-1.5.5.bin_hadoop-2.0.5-alpha/lib/

,结果如下所示：

​​​​​​​

配置环境变量：

cd /home/zoume/software/sqoop-1.5.5.bin__hadoop-2.0.5-alpha/conf cp sqoop-env-template.sh sqoop-env.sh。

 更改 sqoop-env.sh中的配置内容

---

四、启动并验证 Sqoop

进入 Sqoop 安装主目录：

cd/home/zoume/software/sqoop-1.4.5.bin__hadoop-2.0.5-alpha 		

bin/sqoop help

 注意：

1. 注意文件配置内容的大小写，和字母错误。
2. 注意文件或者压缩包的上传路径。