《大数据： Sqoop 导出数据》

最新推荐文章于 2023-07-27 10:55:58 发布

HarkerYX

最新推荐文章于 2023-07-27 10:55:58 发布

阅读量270

点赞数

分类专栏：【大数据：上篇】

本文链接：https://blog.csdn.net/yexiangCSDN/article/details/109367243

版权

【大数据：上篇】专栏收录该内容

107 篇文章 35 订阅 ¥99.90 ¥299.90

订阅专栏

本文详细介绍了如何使用Sqoop从大数据集群（如HDFS、HIVE）将数据导出到MySQL数据库，包括Sqoop的export命令、参数解析、--update-key和--update-mode的用法，以及在遇到表中已有数据时如何处理冲突。同时，还提到了在导出过程中需要注意的数据库约束问题，并提供了创建和运行导出脚本的示例。

摘要由CSDN通过智能技术生成

一、Sqoop 导出数据到MySQL

在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字

1. 命令解析

sqoop export \
//连接数据库时指定连上哪个数据库
--connect jdbc:mysql://hadoop2:3306/HarkerYX\
--username root \
--password root\
//要导出的mysql的表的表名
--table sqoop\
--num-mappers 1 \
//导出的数据在hdfs上的路径
--export-dir /sqoop\
// 导出时，基于哪一列判断数据重复
--update-key 
// 导出的数据的分隔符
--input-fields-terminated-by "\t"