数据汇聚

数据汇聚：打破企业数据的物理孤岛，形成统一的数据中心，为后续数据资产的价值挖掘提供原始材料。

 

1.数据汇聚工具：

1.Canal 主要缺点：Server中的Instance（实例）和Client(客户机)之间是一对一消费，不太适合用于多消费和数据分发的场景。

2.Sqoop 处理过程定制程度较高，主要通过在命令行中配置参数来调整数据同步操作行为，在用户的一些自定义逻辑和数据同步链路监控方面比较薄弱。并且任务运行完全依赖于MapReduce，功能扩展性方面受到明显的约束和限制。

3.DataX 插件式离线数据交换工具。基于进程内读写直连的方式，高并发数据交换场景下对数据内存要求较高。且不支持非结构化数据的同步。

 

数据交换中心：

目的：屏蔽底层工具的复杂性，以可视化配置的方式提供给企业用户；其次需要考虑为了解决数据孤岛，需要满足异构存储，异构数据类型的交换需求；同事考虑不同时效下的数据互通

 

数据源分类：

关系型数据库：Oracle,MYSQL,SQL Server,Greenplum等。

NoSQL存储

网络及MQ

文件系统

大数据相关

 

离线数据交换：

适用场景：数据时效要求低，吞吐量大。解决大规模数据的迁移问题。

实现原理：将不同数据源的交换抽象为从源头数据源读取数据的读取插件，以及向目标端写入数据的写入插件，理论上可以支持任意类型数据源的数据交换工作。采用插件化方式构建，将数据源读取和写入抽象读取插件，写入插件。

非结构化的数据也可