![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Sqoop
Apache Sqoop专栏
猫君之上
一起学习大数据开发,共同进步
展开
-
Apache Sqoop 安装
1.Sqoop简介主要是解决关系型数据库与大数据平台的数据迁移。例如:MySQL|Oracle ======> Hadoop生态Hadoop生态 ======> MySQL|Oraclesqoop进行数据迁移的本质sqoop就是将sqoop的命令转换为mapreduce任务进行数据迁移的。sqoop是hadoop的另一种形式的客户端...原创 2019-03-28 22:08:38 · 172 阅读 · 0 评论 -
Apache Sqoop Hive导出到MySQL
1.目标库MySQL相关参数1)连接配置--connect jdbc:oracle:thin:@//10.xx.xx.xxx:1521/orcl --username bdas --password xxx2)表的配置--table xxx2.hive参数配置1)基本配置--export-dir /user/hive/warehouse/dm.db/t_prc_video_j...原创 2019-04-01 10:36:53 · 437 阅读 · 0 评论 -
Apache Sqoop的数据导入之MySQL与Hive&Hdfs数据导入导出参数分类
我们知道sqoop命令最终还是会解释为mapreduce代码执行,但是有一点值得注意的是,sqoop的数据迁移对应的只有maptask,没有reducetask,也就是说基本上不用担心数据倾斜问题了。最核心的sqoop命令就类似hive 一样,目的是为了启动一个客户端。1.外围指令(不涉及到数据导入导出相关的)1) 查看当前MySQL中有哪几个数据库list-databasessqo...原创 2019-04-01 10:34:13 · 489 阅读 · 0 评论