Sqoop教程(一)Sqoop环境搭建

一、在hp1上传Sqoop到/apps文件夹
二、解压:

tar -zxvf /apps/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local

三、建立软连接:

ln -s sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop

如图所示:
在这里插入图片描述
四、修改环境变量

cd /etc/profile.d/
 vi sqoop.sh
export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

使环境变量生效:

source sqoop.sh 

五、修改sqoop配置文件,其配置文件都在conf目录下:

将 sqoop-env-template.sh改名成 sqoop-env.sh

mv sqoop-env-template.sh sqoop-env.sh

在这里插入图片描述

vi sqoop-env.sh

编辑为:

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/local/hadoop3

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/local/hadoop3

#set the path to where bin/hbase is available
#export HBASE_HOME=

#Set the path to where bin/hive is available
export HIVE_HOME=/usr/local/hive3

#Set the path for where zookeper config dir is
#export ZOOCFGDIR=

六、添加连接mysql、hive的jar包
将mysql-connector-java-5.1.47-bin.jar添加到sqoop/lib目录下。
将commons-lang-2.6.jar添加到sqoop/lib目录下。
将hive-common-3.1.2.jar添加到sqoop/lib目录下。

七、查看sqoop版本号:

sqoop version

出现下图所示版本号信息,则说明Sqoop配置是成功的。警告信息可以忽视。
在这里插入图片描述
八、测试

sqoop list-databases -connect jdbc:mysql://hp1:3306 -username root -password Hive123+

已上命令使用sqoop测试是否能连接上mysql,打印出mysql中的数据库:
在这里插入图片描述

常见异常:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils

解决方案:将commons-lang-2.6.jar添加到sqoop/lib目录下。

 ERROR tool.CreateHiveTableTool: Encountered IOException running create table job: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

解决方案:将hive-common-3.1.2.jar添加到sqoop/lib目录下。

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值