数据中台

数据中台

基本介绍

定义

• 作为底层数据开发以API方式向上层提供各类数据应用的中间层。

解决

1. 效率

   一点业务变更带来的数据开发变更很大，效率低下，开发速度和响应力跟不上。

2. 打通业务，进行更好地T+0+1

3. 打破冗余

   避免多个业务有联系但是各自用一套系统，避免重复造轮子，对业务、性能、开发的压力。

仓库、平台、中台

• 中台是企业级逻辑，企业的D2V能力，主要以数据API的方式为业务提供服务。
• 数仓是存储和管理主题数据的集合，主要提供分析报表。
• 数据平台是融合了机构化和非结构化的数据基础平台，主要为业务提供数据集。
• 中台距离业务更近，为业务提供速度更快的服务。
• 数仓支持管理决策分析，中台将数据服务化之后提交到业务系统，适用于交易场景。
• 中台是简历在书库和平台之上，是加速企业从数据到业务价值的过程中间层。

能力具备

1.数据规划和治理

• 规划企业全景图，规划价值数据，梳理出企业的数据资产目录。
• 粒度不用太细，但是要精确，供外部调用。

2.数据获取和存储

• 必备能力。

3.数据共享和协作

• 做好数据资产目录，并且开方，数据流动起来。
• 在数据安全的情况下净量流动，对于价值相关者，价值创造者开放。

4.业务价值的探索和分析

• 提供分析数据的工具和能力，针对不同业务提供不同的分析工具，并且能够一键生成数据API。

5.数据服务的构建和治理

• 具备强大的服务治理能力，在中台上产生各种服务，数据服务可记录，跟踪，审计，监控。

6.数据服务的度量和运营

• 需要有度量和运营数据服务的能力，对中台使用服务情况和相关行为进行跟踪和记录。（哪个部门使用哪个服务多少次等）评估数据服务的价值。

数据质量的影响

• 在解决数据质量的基础上或者过程中，结合整体数据规划的数据思维进行考量，更好地对其口径，抽象数据模型。

挑战

• 业务场景梳理
• 建设中台的优先级策略，根据业务重要性来排具体的需求。
• 数据治理的问题，资产目录→提取共有纬度，共性模型，治理&业务紧密结合。

中台抽象

• 两个方面

• 中台与业务对齐，全场景规划，小场景启动。

中台分类

技术中台

• 技术聚合，团队负责，避免冗余的重复造轮子。

业务中台

• 相对来讲是最终效果，将技术和数据打通，前台业务推进，后台业务支持。

数据中台

• 除了本身的需求和业务使然，能够打破现状，向前推荐是最好的。

逻辑架构

实时逻辑

• 实时接入

• 计算框架

  基于Kappa架构实现实时的开发能力，充分发挥开发、框架的能力。

  在某个点，实时合并得到离线需求。

• 实时模型

  • DW模型

    1. 动态模型

       对实时数据进行汇总统计，做实时的统计指标分析，一般利用Kafka和HBase可以完成。

    2. 事件模型

       根据需要触发模型的点，将事件注入相应模型得到相应策略。

       实时窗口中的事件进行综合处理利用。

    3. 时序模型

       事件粒度相关的计算。

• 实时服务

  利用图形化、流程化、可编排的数据开发工具真正降低实时数据开发成本。

  各种实时服务。

• 实时应用

实时窗口中的事件进行综合处理利用。

3. 时序模型

   事件粒度相关的计算。

• 实时服务

  利用图形化、流程化、可编排的数据开发工具真正降低实时数据开发成本。

  各种实时服务。

• 实时应用