数据中台建设方法论-2 业务难点

上一篇我们画了数据中台整体架构以及其中关键点的一些技术（数据采集、数据存储、数据开发、DataOps等），这一篇我们来说一下数据中台中的业务难点。

1 组织架构

数据中台的建设往往是一个漫长的过程，而且也是一个从上到下的行为，这时候需要组织层面的支持非常重要。这时候需要一个比较好的组织架构，分为4个部门：
决策部门：与高层领导对接，一般会设置一个CDO（首席数据官）或者CDS（首席数据科学家），他们一般为高层领导提供决策指标，同时肩负改进和完善公司数据化运营的机制。
大数据部门：除了搭建数据中台的基础能力之外，更为重要的是能够全局的数据能力统一管理和赋能，例如元数据管理、数据资产管理、数据服务管理等等，其实就是做好数据中台的运营维护工作。
业务部门：业务部门在数据中台中即是数据提供者又是数据使用者，一般每个业务部门都会一个主管深入了解业务流程和优先级，将业务场景和数据对应，指导建模的流程。
研发部门：每个业务线可以配备相关的数据工程师，利用数据中台功能结合业务需求，开发符合要求的数据产品。数据分析师以统计学背景为主，能够从数据中产生合理、准确的商业智能报表。数据科学家以机器学习为背景，提供基于机器学习和人工智能的数据分析产品和结果。数据产品经理负责公司内部数据能力的规划和开发流程的协调，可以担任数据架构师身份。

2 数据规范

2.1 3个One

OneID：为了确保整个数据中心之间的数据是互联互通，那么要求关于用户的数据必须使用同一个ID，也就是说通过某一个业务ID让数据能够联通起来，这样数据既可追溯也有利用价值。比如可以同某用户ID将用户系统、运营系统和购物系统关联起来做一个人物画像。
OneModel：使用一个标准的数据模型，将业务零散的数据有机的组合起来，这样标准的模型可以为以后生成统一指标提供基础。
OneService：为了提供数据的复用和共享能力，必须采用统一数据资产管理，统一数据服务，保证产出的数据一致性。

2.2 规范格式

• 数据存储格式一致
• 数据库/表/字段统一命名
• 数据隐私规则一致
• 数据服务的命名和访问规则一致
• 数据表默认字段要求

3 数据资产

数据资产简单的定义就是能为企业产生价值的数据资源。在数据采集过程中，随着数据的增多，往往造成数据不可知、数据不可控、数据不可取的局面，之所以会造成该局面的原因是因为数据缺乏管理，不能产生价值的数据就不能称之为资产。那么要管理好数据，却是一个业务难点，以下有几方面需要做好：

3.1 主数据

主数据对应企业的核心业务实体，这就对应3个One中的OneModel，需要很好长期的维护好一个主数据，可以围绕整个业务核心做域的划分，有点像DDD架构设计的第一部分，划分好域。

3.2 元数据

元数据就是描述数据的数据。包括业务元数据、技术元数据、管理元数据、应用元数据。元数据可以定义数据、数据血缘、质量控制、统计数据等等，该部分需要投入较大人力去维护。较好的开源软件有Atlas。

3.3 数据质量

数据质量是保证数据产生价值的一个关键，如果数据质量不过关，产生的数据结果对业务就是一个错误的指定，从而使得数据中台信任崩塌。如何保证数据质量？
数据目录：保证能够在庞大数据中搜索到想要的数据，那需要做好元数据和主数据管理，同时还要能够做数据探索。
数据质量系统：保证数据完整性、唯一性、准确性、一致性以及标准化。
数据合规：符合数据保护条例等要求。

3.4 数据血缘分析

数据从产生、处理、加工、融合、流转到最终消亡，数据之间自然形成一种关系。其记录了数据产生的链路关系，这些关系与人类的血缘关系比较相似，所以被成为数据血缘关系。做好数据血缘分析可以产生包括数据溯源、数据价值评估、数据质量评估、数据归档参考等

3.5 数据资产的ROI

在数据资产建设中，我们需要量化数据资产的ROI，只要这样才能更好的管理数据。

4 数据安全

1）数据审计
2）多租户
3）端到端安全
4）单点登录
5）隐私加密
6）一套安全的运营制度