大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

最新推荐文章于 2025-03-14 14:36:46 发布

道-闇影

最新推荐文章于 2025-03-14 14:36:46 发布

阅读量1.6k

点赞数 1

文章标签： big data 大数据 sqoop flume

本文链接：https://blog.csdn.net/qq_41200768/article/details/120164730

版权

本文由大数据开发工程师Jinsuo.Shi分享，重点介绍大数据stage3中的数据迁移组件——Sqoop、Flume和DataX的安装与使用。通过实例展示了如何进行数据的导入和导出，包括从MYSQL到HDFS/Hive的全量、查询和指定列导入，以及Hive/HDFS到MySQL的导出。同时，讲解了Flume实时采集日志到HDFS和DataX在MySQL与HDFS之间的数据迁移。下期将聚焦存储层组件的学习。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Boys，Grils，Friends！ My name is Jinsuo.Shi. 一个不正经的大数据开发工程师，目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。
个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…
个人在学习领域：Python，Pandas数据分析，PowerBI数据可视化,机器学习，算法等…
个人兴趣爱好：广泛阅读，旅游远行，运动健身，王者农药…

【今日重点：大数据学习第二阶段stage3：组件学习-数据迁移组件的学习，看完不会都能用起来！】

总览图

在这里插入图片描述

1.Sqoop

1.1 安装

在这里插入图片描述

1.2 使用

在这里插入图片描述

导入数据（MYSQL->HDFS/Hive）

全量导入

sqoop import \
--connect jdbc:mysql://hadoop1:3306/xxx\
--username root \
--password 000000 \
--table xxx\
--target-dir /xxx/xxx\
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "