Sqoop环境搭建

Sqoop环境搭建

1、Sqoop安装
安装Sqoop前提是已经具备java、hadoop、hive、zookeeper、hbase、mysql的环境
未安装完全的可参考
jdk安装
hive和hbase安装
hadoop安装
zookeeper安装
mysql安装
2、下载并解压
首先上传安装包到opt目录并解压然后改名

tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz 
mv sqoop-1.4.6-cdh5.14.2.tar.gz  sqoop

3、配置环境变量

[root@hadoop1 ~]# vi /etc/profile
--进入后输入
export SQOOP_HOME=/opt/sqoop
export PATH=$SQOOP_HOME/bin:$PATH

4、修改配置文件

[root@hadoop1 ~]# cd opt/sqoop/conf
[root@hadoop1 ~]# mv sqoop-env-template.sh sqoop-env.sh
[root@hadoop1 ~]# vi /sqoop-env.sh
--添加以下内容
--等号后面为hadoop.hive.hbase.zookeeper安装路径
export HADOOP_COMMON_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=/opt/hadoop
export HIVE_HOME=/opt/hive
export ZOOKEEPER_HOME=/opt/zkpr
export ZOOCFGDIR=/opt/zkpr
export HBASE_HOME=/opt/hbase

5、拷贝jdbc驱动
拷贝 jdbc 驱动到 sqoop 的 lib 目录下，驱动包在hive/lib目录下

[root@hadoop1 ~]# cp /opt/hive/lib/mysql-connector-java-5.1.27-bin.jar /opt/sqoop/lib

6、验证Sqoop
可以通过一个命令来验证sqoop配置是否正确

--进入sqoop
[root@hadoop1 ~]# cd /opt/sqoop
--查看sqoop版本
[root@hadoop1 sqoop]# bin/sqoop version

然后就会出现一些warning的界面，最底下会出现版本号

这些提醒不影响使用，但是可以消除，方法如下

[root@hadoop1 sqoop]# vi bin/configure-sqoop

–进入后，输入 ：set nu 找到135，156行，注释四个提醒，保存并退出，操作如下

这个时候我们再次输入查看版本号的命令

--进入sqoop
[root@hadoop1 ~]# cd /opt/sqoop
--查看sqoop版本
[root@hadoop1 sqoop]# bin/sqoop version

如果连版本号都出不来出现，遇见异常
Exception in thread “main” java.lang.NoClassDefFoundError: org/json/JSONObject
解决方案：sqoop/lib下缺少java-json.jar包

[root@hadoop1 sqoop]# cd lib
[root@hadoop1 lib]# yum -y install unzip
[root@hadoop1 lib]#  wget http://www.java2s.com/Code/JarDownload/java-json/java-json.jar.zip
[root@hadoop1 lib]# unzip java-json.jar.zip

7、测试sqoop是否能够成功连接数据库

--hadoop1为主机名，也可使用ip地址，root、ok为你的mysql用户名和密码
--list-databases是列举出你得数据库
[root@hadoop1 sqoop]# bin/sqoop list-databases --connect jdbc:mysql://hadoop1:3306/ --username root --password ok
--最后会出现如下输出：
information_schema
hive
mysql
performance_schema

这样sqoop就安装好了