新瓶装老酒：实时数据集成三

第三种模式其实是前两种模式的组合，但其数据集成是基于数据仓库的概念发展演化而来，象现在很多企业单位正在建的ODS系统。如下图：

 

 

 

为了保证为企业提供一个全局的数据视图，我们可以通过建立一个全局的操作型数据库ODS(operational data storage)，该数据库与企业内的其它数据源通过变化数据捕捉（change data capture）方式保持实时同步，当数据源内的数据发生变化时，CDC会捕捉到变化的数据并通过ETL工具或者其它手段（如主数据管理工具）同步到ODS数据库中。ODS数库内存储的数据可以分为三层，如下图所示：

 

 

 

接口数据层：主要负责接收从各个实时系统收集到的临时变化数据。

统一模型层：针对企业共享数据的要求建立的企业级统一数据模型，接口数据层的数据通过加工整合然后进入统一模型层。统一模型层是ODS对外提供数据供应的主要数据源

汇总数据层：根据用户的业务需要，在ODS上建立一些统计、汇总，提供一些全局的数据报表。从接口层到统一模型层以及从统一模型层到汇总层数据都可以采用异步的方式完成，很多企业目前采用的方式是从接口层到统一模型层采用准实时的方式完成，而从统一模型层到汇总层一般在晚上或者其它时间窗口完成，一方面避免对生产系统的影响，另一方面也可以充分利用机器的处理能力，当客户需要访问一些汇总数据时，可以从汇总表直接取已经汇总好的数据，从而加快系统的响应时间。

最后一点就是数据的发布格式，在该模式中，中间件层负责数据的接入访问，ODS里的数据可以封装成WEB服务发布在中间件层。当前端业务流程需要集成的数据时，可以直接访问ODS内的数据，如果数据集成比较复杂，我们可以根据用户的业务需要，通过ETL工具或者其它工具（第二种模式）对统一模型层的数据进行加工放到汇总数据层，然后再从汇总数据层访问数据。

5.GIF

6.GIF

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/16312004/viewspace-481729/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/16312004/viewspace-481729/