![](https://img-blog.csdnimg.cn/20190918140213434.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据离线同步框架
文章平均质量分 93
数据离线同步框架
十二同学啊
这个作者很懒,什么都没留下…
展开
-
SeaTunnel 学习笔记
SeaTunnel 学习笔记原创 2022-07-28 19:07:09 · 10993 阅读 · 1 评论 -
DataX 学习笔记
一. DataX简介1.1 DataX概述DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。官网地址:https://github.com/alibaba/DataX1.2 DataX支持的数据源DataX目前已经有了比较全面的插件体系,主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入,目前支持数据如下图。类型数据源R原创 2021-12-13 12:01:46 · 3383 阅读 · 0 评论 -
Sqoop 学习笔记
概述Apache Sqoop™ 是一种工具,旨在有效地在Apache Hadoop和结构化数据存储(例如关系数据库)之间传输批量数据。工作机制1.Sqoop任务是通过解析生成mapReduce执行,底层默认是用了四个mapTask执行,没有reduceTask2.导入(import)流程:1)读取要导入数据的表结构2)读取参数,设置好job3)调用mapreduce执行任务–a.首先要对数据进行切分–b.写入范围,以便读取–c.读取范围参数–d.创建RecordReader并从数据库中原创 2021-06-23 15:45:07 · 624 阅读 · 0 评论