1、sqoop下载安装
下载地址:https://pan.baidu.com/s/1jpqwurCjolkHaXHzn618vQ
提取码:m9pj
(1)安装 Sqoop 的前提是已经具备 Java 和 Hadoop、Hive、ZooKeeper、HBase 的环境
(2)上传并解压安装到指定文件夹,这里安装在/opt
目录下
2、配置 sqoop
(1)修改配置文件sqoop-env.sh
刚安装的 sqoop 没有sqoop-env.sh
这个文件,但有sqoop-env-template.sh
文件,直接把这个文件改名为sqoop-env.sh
即可
mv sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh
然后配置内容如下:(配置各软件的安装目录)
export HADOOP_COMMON_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=/opt/hadoop
export HIVE_HOME=/opt/hive
export ZOOKEEPER_HOME=/opt/zookeeper
export ZOOCFGDIR=/opt/zookeeper
export HBASE_HOME=/opt/hbase
(2)复制mysql-connector-java-5.1.38.jar
到/opt/sqoop/lib
目录下
cp /opt/hive/lib/mysql-connector-java-5.1.38.jar /opt/sqoop/lib/
(3)查看是否配置成功
进去 sqoop 目录下输入如下指令查看 sqoop 版本;
bin/sqoop version
查看结果如下;说明安装配置成功
(4)隐藏警告信息
修改配置文件/opt/sqoop/bin/configure-sqoop
注释掉如下几行,大概是142到153行
执行上面操作后再查看 sqoop 版本则不会发出警告,结果如下
3、测试 Sqoop 是否能够成功连接数据库
(1)在此之前需要下载一个java-json.jar
到/opt/sqoop/lib
目录下
cd /opt/sqoop/lib
wget http://www.java2s.com/Code/JarDownload/java-json/java-json.jar
注意下载完成后是压缩包,需要解压!!!
(2)进入 sqoop 目录下执行如下语句查看数据库
bin/sqoop list-databases --connect jdbc:mysql://hadoop:3306/hive --username root --password ok
结果如下则说明连接成功
注意执行操作一定要执行 bin 目录下的操作!!!
(3)配置环境变量
vi /etc/profile
配置内容:
export SQOOP_HOME=/opt/sqoop
export PATH=$SQOOP_HOME/bin:$PATH
添加配置完成后source /etc/profile
之后就可以在任意文件夹执行 sqoop 命令了