Sqoop环境搭建和具体应用

最新推荐文章于 2022-10-18 19:22:23 发布

yanglitian_123

最新推荐文章于 2022-10-18 19:22:23 发布

阅读量197

点赞数

分类专栏：大数据文章标签： sqoop mysql hadoop 大数据 hive

本文链接：https://blog.csdn.net/yanglitian_123/article/details/107520367

版权

本文详细介绍了如何搭建Sqoop环境，以及如何利用Sqoop将数据从MySQL迁移到HDFS、Hive和HBase中，包括增量导入、创建job以及使用脚本等操作。在MySQL到HDFS的数据迁移中，通过where、columns和查询语句进行过滤，同时讨论了导入Hive和HBase的步骤，以及从HDFS向MySQL导出数据的方法。

摘要由CSDN通过智能技术生成

Sqoop的环境搭建

1，准备好

sqoop-1.4.6-cdh5.14.2.tar.gz
java-json.jar
mysql-connector-java-5.1.27-bin.jar

2，解压安装，配置环境变量

[root@hadoop151 opt]# vi /etc/profile

添加以下内容

export SQOOP_HOME=/opt/sqoop
export PATH=$SQOOP_HOME/bin:$PATH

使生效

[root@hadoop151 opt]# source /etc/profile

修改conf下的配置文件

mv sqoop-env-template.sh sqoop-env.sh
[root@hadoop151 opt]# vi /opt/sqoop/conf/sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=/opt/hadoop
export HIVE_HOME=/opt/hive
export ZOOKEEPER_HOME=/opt/zookeeper-3.4.6
export ZOOCFGDIR=/opt/zookeeper-3.4.6/conf
export HBASE_HOME=/opt/hbase

3，拷贝到sqoop的lib目录下

[root@hadoop151 opt]# cp mysql-connector-java-5.1.2

最低0.47元/天解锁文章

yanglitian_123

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Sqoop环境搭建和具体应用

Sqoop的环境搭建1，准备好sqoop-1.4.6-cdh5.14.2.tar.gzjava-json.jarmysql-connector-java-5.1.27-bin.jar2，解压安装，配置环境变量[root@hadoop151 opt]# vi /etc/profile添加以下内容export SQOOP_HOME=/opt/sqoopexport PATH=$SQOOP_HOME/bin:$PATH使生效[root@hadoop151 opt]# source /
复制链接

扫一扫