本文介绍了数据融合平台的重要性和挑战，重点探讨了DataPipeline的架构，利用Kafka Connect实现数据同步，并讨论了如何通过消息队列解决数据一致性、扩展性和解耦问题。同时，提出了在数据一致性方面的一系列解决方案。
文 |刘瀚林 DataPipeline后端研发负责人
一、关于数据融合和企业数据融合平台
数据融合是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。
企业数据融合平台，通常的表现形态为运行着大量数据同步和转换任务的分布式系统。其源端一般为各类偏实时的业务数据存储系统，目的端为各类数据仓库/对象存储。
二、企业数据融合平台的典型架构
下图为数据融合平台的典型架构，源端是不同的数据存储系统，另一端是各种类型的数据仓库，关系型数据库或者文件存储等。中间为数据融合平台的简单架构，组件Source connectors负责做数据的采集。
将数据采集之后，会将其做成格式化数据放到Transport Channel，Transport Channel一般会用Source队列或其它流式数据框架，负责做中间的缓存，包括分布式的支持，数据的分发， sink connectors去负责把数据分别写入不同的数据目的地。
三、企业数据融合需要解决的关键问题
- 数据异构问题
面临繁琐的数据源和目的地适配以及异构数据源的转换问题。
- 随时变化的数据结构
数据源结构会随时发生变化，造
最低0.47元/天 解锁文章
扫一扫
1372
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
