sqoop1.4.7部署centos7

最新推荐文章于 2023-01-21 00:10:42 发布

daidavid_csdn

最新推荐文章于 2023-01-21 00:10:42 发布

阅读量1.1k

点赞数

分类专栏：大数据生态圈文章标签： sqoop

本文链接：https://blog.csdn.net/David_bdqn/article/details/119541204

版权

5 篇文章 0 订阅

订阅专栏

1、解压

tar -zxvf sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz
mv sqoop-1.4.7.bin__hadoop-2.6.0 /iflytek/sqoop1.4.7

2、配置环境变量

vim /etc/profile，添加SQOOP_HOME如下：

export SQOOP_HOME=/iflytek/sqoop1.4.7
export PATH=${SQOOP_HOME}/bin:$PATH
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib

/* （注：不加此行配置的话，在sqoop做mysql向hive迁移时会报HIVE_CONF_DIR相关的错）

使环境变量生效：source /etc/profile

3、配置sqoop文件配置HADOOP_HOME、HIVE_HOME：

cd /iflytek/sqoop1.4.7/conf

cp sqoop-env-template.sh sqoop-env.sh

vim sqoop-env.sh，添加如下内容：

export HADOOP_COMMON_HOME=/iflytek/hadoop2.6.4
export HADOOP_MAPRED_HOME=/iflytek/hadoop2.6.4
export HIVE_HOME=/iflytek/hive1.2.1

4、复制mysql驱动到sqoop的lib目录下：

cp /iflytek/hive1.2.1/lib/mysql-connector-java-5.1.40.jar /iflytek/sqoop1.4.7/lib/

5、验证，连数据库列举表名：

./sqoop list-tables --connect jdbc:mysql://mysqlIP:3306/hivedb?characterEncoding=UTF-8 --username root --password 'root'

6、将hive/conf目录下的hive-site.xml文件复制到sqoop/conf目录下，否则关系数据库往hive的指定库中导数据会报错

cp /iflytek/hive1.2.1/conf/hive-site.xml /iflytek/sqoop1.4.7/conf/

关注