sqoop1.4.7

最新推荐文章于 2024-04-29 23:42:56 发布

尘缘未了-

最新推荐文章于 2024-04-29 23:42:56 发布

阅读量145

点赞数

本文链接：https://blog.csdn.net/qq_35315256/article/details/87892972

版权

本文详细介绍了sqoop1.4.7的安装步骤，包括下载、解压、环境变量配置、mysql连接器安装及配置文件编辑。同时，针对安装过程中常见的ClassNotFoundException问题提供了具体的解决方案。

摘要由CSDN通过智能技术生成

sqoop安装

1、sqoop 1.4.7下载地址

http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

2、tar 解压,配置环境变量

3、cp mysql-connector-java-5.1.36.jar /usr/local/sqoop-1.4.7/lib/

4、配置vim sqoop-env.sh，这里没有zookeeper和hbase

export HADOOP_COMMON_HOME=/usr/local/hadoop-2.6.0
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/local/hadoop-2.6.0
#set the path to where bin/hbase is available
#export HBASE_HOME=
export HIVE_HOME=/usr/local/hive-2.1.0

5、测试

1、sqoop version
2、sqoop list-databases --connect jdbc:mysql://node2:3306/ --username 'root' --password 'root'
3、sqoop import --connect jdbc:mysql://node2:3306/sqoop  --username root --password root --table test_1 -m 1
(文件导入导了/user/root/)

6、遇到的问题

sqoop ClassNotFoundException: org.apache.commons.lang.StringUtils

Sqoop1.4.7默认只加载了commons-lang3-3.4.jar的jar包，里面的StringUtils类的package为：org/apache/commons/lang3/StringUtils，所以直接使用sqoop命令时报上述错误。

所以需要手动获取旧版的jar包，上传至sqoop的lib目录，比如：commons-lang-2.6.jar，之后再使用sqoop命令，就不会显示上述错误了。