Apache Sqoop的安装

Sqoop1.4.7安装

官网地址
https://sqoop.apache.org/

下载地址
https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/

安装sqoop的前提是已经具备java和hadoop的环境。

1,上传并解压
2,配置文件修改:

cd $SQOOP_HOME/conf
mv sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh
export HADOOP_COMMON_HOME= /export/servers/hadoop-2.6.0-cdh5.14.0
export HADOOP_MAPRED_HOME= /export/servers/hadoop-2.6.0-cdh5.14.0
export HIVE_HOME= /export/servers/hive-1.1.0-cdh5.14.0

加入mysql的jdbc驱动包

cp /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /export/servers/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/

验证启动

bin/sqoop list-databases \
 --connect jdbc:mysql://localhost:3306/ \
 --username root --password hadoop

本命令会列出所有mysql的数据库。
到这里,整个Sqoop安装工作完成。

补充

实际使用sqoop导入数据到hive时可能会缺少jar包,导致找不到某个类。
这时候只需要把hive安装目录下的lib目录下的指定jar包复制到sqoop目录下的lib目录下就可以了。
比如今天就遇到了好几个bug,
我把

hive-common-*.jar
hive-shim-*.jar

都给复制到sqoop目录下了。

发布了216 篇原创文章 · 获赞 181 · 访问量 7202
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术黑板 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览