![](https://img-blog.csdnimg.cn/direct/99d3d70b7a4d4c50a7e753e284cce142.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
离线实时数据采集工具
文章平均质量分 78
数据采集工具
留不住的人
PHP是世界上最美的语言
展开
-
Sqoop全量及增量的导入导出实现
1 、Sqoop的导入导出导入: RDBMS -----> Hadoop平台 导出: Hadoop平台 -----> RDBMS 2 、Sqoop的重点是写导入导出的命令 3 、Sqoop的底层是没有Reduce的MRSqoop这是机械性将数据源的数据一条条进行搬移,不需要对数据做额外的聚合,所以不需要Reduce。原创 2023-04-06 18:42:11 · 384 阅读 · 0 评论 -
数仓生态圈辅助工具之Sqoop导入导出数据和Oozie工作流调度
Sqoop介绍sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统;导出数据:从Hadoop的HDFS、HIVE中导出数据到关系数据库mysql等。Sqoop工作机制Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。sqoop安装。原创 2023-03-10 00:15:16 · 706 阅读 · 0 评论 -
使用Canal同步MySQL数据到Kafka
Canal架构原理1.Canal Server结构server 代表一个 canal 运行实例,对应于一个 jvm。instance 对应于一个数据队列 (1个 canal server 对应 1…n 个 instance )instance 下的子模块a.eventParser: 数据源接入,模拟 slave 协议和 master 进行交互,协议解析b.eventSink: Parser 和 Store 链接器,进行数据过滤,加工,分发的工作c.eventStore: 数据存储meta原创 2022-01-04 15:50:38 · 2772 阅读 · 0 评论