mac环境安装和使用sqoop

最新推荐文章于 2022-12-02 10:20:44 发布

maxmao1024

最新推荐文章于 2022-12-02 10:20:44 发布

阅读量1.6k

点赞数

分类专栏：大数据数据库

本文链接：https://blog.csdn.net/maxmao1024/article/details/79478794

版权

本文介绍了在Mac环境中安装和配置Sqoop的步骤，包括遇到的问题及解决方案。在测试阶段，文章详细讨论了两个常见问题：1. Hadoop单机模式下因找不到执行目录引发的ClassNotFoundException，通过切换到伪分布模式解决；2. Sqoop导入时由于MySQL表缺少主键导致的错误，建议为表添加主键或使用-m 1参数进行顺序导入。

摘要由CSDN通过智能技术生成

1. 安装和配置

brew install sqoop 
sqoop version

cd /usr/local/Cellar/sqoop/1.4.6/libexec/conf
cp sqoop-env-template.sh sqoop-env.sh

vim sqoop-env.sh

    export HADOOP_HOME="/usr/local/Cellar/hadoop/3.0.0/libexec"
    export HBASE_HOME="/usr/local/Cellar/hbase/1.2.6"
    export HIVE_HOME="/usr/local/Cellar/hive/2.3.1"
    export ZOOCFGDIR="/usr/local/Cellar/zookeeper/3.4.10/"

curl -L 'http://www.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.42.tar.gz/from/http://mysql.he.net/' | tar xz
cp mysql