![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ETL 工具
文章平均质量分 92
寧三一
到最后,我没成为至尊宝,也没成为紫霞,而是成为了城墙下的那群人,看着别人的爱情,咀嚼着自己的青春
展开
-
Flume 基础概述(体系架构、执行流程、事务)
Flume 基础概述概述概念Flume是一个分布式、可靠、和高可用的海量日志聚合的系统Flume 官网作用1、支持在系统中定制各类数据发送方,用于收集数据2、同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。应用场景1、线上数据一般主要是落地(存储到磁盘)或者通过socket传输给另外一个系统2、这种情况下,你很难推动线上应用或服务去修改接口,实现直接向kafka里写数据3、这时候你可能就需要flume这样的系统帮你去做传输。Flume的体原创 2022-02-09 21:22:47 · 3192 阅读 · 0 评论 -
DataX 简介及架构原理
DataX 简介及架构原理概述DataX是阿里巴巴使用 Java 和 Python 开发的一个异构数据源离线同步工具异构数据源:不同存储结构的数据源致力于实现包括关系型数据库 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等各种异结构数据源之间稳定高效的数据同步功能 - Sqoop 是用于在与 RDBMS 之间数据迁移工具 - DataX 是阿里开原创 2022-02-03 23:04:44 · 7994 阅读 · 0 评论