DataPipeline丨新型企业数据融合平台的探索与实践

文 |刘瀚林 DataPipeline后端研发负责人

一、关于数据融合和企业数据融合平台

数据融合是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。

企业数据融合平台，通常的表现形态为运行着大量数据同步和转换任务的分布式系统。其源端一般为各类偏实时的业务数据存储系统，目的端为各类数据仓库/对象存储。

二、企业数据融合平台的典型架构

下图为数据融合平台的典型架构，源端是不同的数据存储系统，另一端是各种类型的数据仓库，关系型数据库或者文件存储等。中间为数据融合平台的简单架构，组件Source connectors负责做数据的采集。

将数据采集之后，会将其做成格式化数据放到Transport Channel，Transport Channel一般会用Source队列或其它流式数据框架，负责做中间的缓存，包括分布式的支持，数据的分发， sink connectors去负责把数据分别写入不同的数据目的地。

三、企业数据融合需要解决的关键问题

1. 数据异构问题

面临繁琐的数据源和目的地适配以及异构数据源的转换问题。

2. 随时变化的数据结构

数据源结构会随时发生变化，造