使用Sqoop将数据在HDFS与MySQL互导

最新推荐文章于 2020-12-24 19:23:47 发布

置顶光于前裕于后

最新推荐文章于 2020-12-24 19:23:47 发布

阅读量4.7k

点赞数

分类专栏：大数据动物园大数据基础知识

本文链接：https://blog.csdn.net/Dr_Guo/article/details/51006132

版权

大数据基础知识同时被 2 个专栏收录

28 篇文章 18 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

大数据动物园

95 篇文章 6 订阅

订阅专栏

本文介绍了如何使用Sqoop工具进行数据迁移，包括从HDFS到MySQL的导入，以及从MySQL到HDFS的导出。首先，从官方获取并安装Sqoop，配置相关环境变量，然后在MySQL中创建目标表，最后执行导入和导出操作。

摘要由CSDN通过智能技术生成

1.去官网下载sqoop，直接百度即可

2.解压后进入conf目录

guo@drguo1:/opt/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf$ cp sqoop-env-template.sh sqoop-env.sh

3.在sqoop-env.sh添加各种home

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/Hadoop/hadoop-2.7.2

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/Hadoop/hadoop-2.7.2

#set the path to where bin/hbase is available
export HBASE_HOME=/opt/hbase

#Set the path to where bin/hive is available
export HIVE_HOME=/opt/apache-hive-2.0.0-bin

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/opt/zookeeper-3.4.8/conf

4.把MySQL驱动jar包导入l