安装 sqoop 的前提是已经具备 java 和 hadoop 的环境。
1.上传sqoop压缩包和mysql-connector-java-*.jar工具
sqoop官网:https://sqoop.apache.org/
sqoop下载地址:https://archive.apache.org/dist/sqoop/
版本:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
mysql-connector-java-5.1.32.jar
2.解压Sqoop安装包、改名字
cd /export/softwares/
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C ../servers/
cd ../servers/
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop
3.配置sqoop(修改Sqoop配置文件)。
进入Sqoop安装目录的conf下,复制模板并编辑配置文件(vi sqoop-env.sh)。
--进入到conf里面
cp sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh
--使用vi编辑器编辑配置文件
可以再开一台机器,找Hadoop和Hive的安装路径
[root@node01 ~]# cd /export/servers/hadoop-2.7.5/
[root@node01 hadoop-2.7.5]# pwd
/export/servers/hadoop-2.7.5
[root@node01 hadoop-2.7.5]# cd ../apache-hive-2.1.1-bin/
[root@node01 apache-hive-2.1.1-bin]# pwd
/export/servers/apache-hive-2.1.1-bin
4.配置环境变量
vi /etc/profile
--添加以下路径:
export SQOOP_HOME=/export/servers/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
--保存文件后,执行以下命令使更改生效:
source /etc/profile
5.上传mysql-connector-java-*.jar工具到sqoop/lib目录下
最开始lib目录下是没有mysql驱动包的,需要自己上传
cd ../lib
ll ---查看目录下的文件
cp /export/softwares/mysql-connector-java-5.1.38.jar ./
ll
6.验证安装是否成功(两种验证方式)
cd /export/servers/sqoop
cd ./bin
sqoop version
--本命令会显示Sqoop的版本信息
如果安装正确,则显示Sqoop的版本信息。
cd /export/servers/sqoop
bin/sqoop list-databases --connect jdbc:mysql://localhost:3306 --username root --password 1217110
--本命令会列出所有 mysql 的数据库。
如果安装正确,则显示所连接的mysql数据库名。