数据中台笔记1

此篇文章全部是是个人理解，记录，不官方。如有不妥之处欢迎指出。共同进步。

数据中台产生的背景

现在随着时代的发展，企业逐渐趋向信息化，实现信息化就需要企业对数据有着掌握，提取，分析，并且从中提取价值进行变现。
信息化的发展中新平台产生的数据与传统数据原始数据要做到互通互融，其次在企业的扩大发展的同时 需要对市场资源了解,那么就需要进行同步整合市场资源数据。
数据中台就是将分散，缺失的各个独立的数据孤岛进行资源整合，分析，加工，进行资源价值提升。对企业的信息化发展提供有用的数据资源，解决信息闭塞，信息不通不容，缺失等问题。

这里也简单提下数据中台与业务中台的区别：
在互联网软件企业中，有各种平台，app,小程序等都会有用户中心，产品中心等等，那么这些东西没有必要都写一遍，可以把公用的模块进行抽象提出，这就形成了业务中台，每次相同的业务逻辑调用业务中台即可实现。数据中台的数据有时也来源于业务中台。

数据中台就相当于一个中央厨房，任何食材都由它来去采集【资源整合】然后进行清洗，加工成一些方便的半成品例如蔬菜的蔬菜条，丝，块儿，或者，食品的半成品，速冻品等【加工】。用户在用的时候就不用再去各种地方采买，直接在此厨房对接即可，这就是数据中台。

数据中台的数据来源数据同步方案

实时同步：

主要是对数据库监控一般采用CDC（change data capture 捕捉变换数据 ）方式对数据库的CRUD进行实时监控.。
针对数据时效性要求高的场景，其将源端数据的变化实时同步到目标端数据源中，保证源端数据与目标端数据实时保持一致，就可满足业务实时查询分析使用数据或实时计算等需求。

成熟的产品有canal，otter

离线同步:

主要用于大批量数据的周期性迁移，对时效性要求不高，一般采用分布式批量数据同步方式，通过连接读取数据，读取数据过程中可以有全量、增量方式，经过统一处理后写入目标存储。

成熟的产品有：Sqoop、DataX、kettle等