关于中台6

数据中台架构

数据中台的目标是让数据持续用起来， 通过数据中台提供的工具，方法 和运行机制， 把数据变成一种服务能力 让数据更方便被夜雨所使用

数据中台是位于底层储存计算平台和上层数据应用之间的一整套体系， 数据中台屏蔽掉 底层储存平台的计算技术复杂性 降低 对 技术人才的需求 让数据的使用成本更低

通过数据中台的数据汇聚 数据 开发模块 建立 企业数据 资产， 通过 资产管理 和治理 数据服务把数据资产变成 数据服务能力 服务于企业业务， 数据安全管理， 数据运营体系保障 数据中台可以 长期监控 ， 持续运转，

数据汇聚是数据中台数据接入的入口， 数据中台本身几乎不产生数据， 所有数据来自于业务系统，日志 文件 网咯， 这些数据分散在不同的网络环境和储存平台中，难以利用， 很难产生业务价值， 数据汇聚是数据中台必须提供的核心工具， 把各种异构网络 异构数据源的数据方便地采集到数据中台中进行集中储存，为后续的加工建模做准备， 数据汇聚方式一般有数据库同步，埋点 网络爬虫 消息队列 等

从汇聚的时效性来分 ，有离线批量汇聚 和 实时采集

数据开发， 通过数据汇聚模块汇聚到中台的数据没有经过处理，基本是按照数据的原始状态堆砌一起， 业务很难使用， 数据开发是一套数据加工以及 加工过程挂没空的工具，有经验的数据开发， 算法建模人员利用数据加工模块提供的功能， 可以快速的把数据加工成对业务有价值的形式， 提供给业务使用， 数据开发模块主要面向开发人员， 分析人员 提供离线， 实时， 算法开发工具， 以及任务的管理， 代码发布 运维 监控 告警 等一系列 集成工具，方便使用， 提升效率

这个架构图主要是

从基础层上 ，基础工具 分为 网络 多云平台 混合云资源 本地机房

数据源 内部数据 外部数据

上面是 数据 技术框架 层面 卡夫卡 甲骨文 spark hadoop mysql

数据汇聚 异构网络 异构数据源 离线同步 实时接入 可视化配置

数据开发
离线开发 实时开发 算法开发 环境隔离 智能调度 只能运维 监控告警

‘’数据体系

贴源数据 统一数仓 标签数据 应用数据

数据资产管理

元数据 数据标准 数据质量 数据学院 数据生命周期 数据安全

数据服务体系 服务创建 API网关 服务授权 调用管理

应用层面

决策支持 BI分析 运营大屏 业务中台

创新应用 客户洞察 满意度 、精准营销

身份认证 面向内部 面向客户 面向合作伙伴

数据体系

有了数据汇聚、 数据开发模块 中台 已经具备传统数据仓库 平台的基本能力， 可以做数据的汇聚 以及各种 数据开发， 就可以建立企业的数据体系， 之前说数据体系是中台的血肉 开发 管理 使用的都是数据 大数据时代 数据量大 、增长快 业务对数据的以来也会越来越高 必须考虑 数据的一致性和 可复用性、垂直的 烟囱式 的数据 和数据服务的建设方式 注定不能长久存在， 不同的企业因为业务 不同导致 数据不同， 数据建设的内容也不同， 但是建设方法 可以 相似 ，数据要偶同意建设，

建议数据按照贴源数据、统一数仓、标签数据、应用是数据的标准统一建设

数据资产管理

通过数据体系建立起来的数据资产较为偏技术，业务人员难以理解，资产管理 就是 以 企业全员更好理解的方式， 把企业的数据资产展现给企业全员， 数据资产管理包括对于数据资产目录

元数据 数据质量 数据学院 数据生命周期等进行管理和展示 以一种更直观的方式展现企业的数据资产 ， 提升企业的数据意识

关键字 数据资产目录 元数据 数据质量 数据学院 数据生命周期

数据服务体系

利用数据汇聚 数据开发建设企业的数据资产 利用数据管理展现企业的数据资产 但是并没有 发挥数据的价值 数据服务体系就是把数据办成一种服务能力 通过数据服务让数据参到业务 ，激活 整改数据中台， 数据服务体系 是数据中台存在的价值所在， 企业的数据服务时前边万花的 ，中台产品 可以带有一些标准 服务， 但是很难满足企业的服务诉求， 大部分服还是需要通过中台对的能力快速定制

数据中台的服务模块并没有自带很多夫妇， 而是提供快速的服务生成能力以及服务的管控 健全 计量等功能

运用体系 和安全管理

通过前面的数据汇聚 数据开发 数据体系 数据资产管理 数据服务体系

已经完成了 整个数据中台的搭建 建设 也已经在业务中发挥一定的价值， 运营体系 和安全管理 是数据中太爱得以监控 持续运转的基础

建设部分数据， 尝试一两个应用场景之后就止步， 无法正常地持续运营，不能持续发挥数据的应用价值， 这也就完全达不到建设数据中台的目标