一些思考+

数据应用能力成熟度可以总结为

统计分析 决策支持 数据驱动 运营优化

统计分析阶段

越来越多的企业开始尝试利用信息系统来进行流程和管理优化， 因此， mrp erp crm Oa 等 企业管理系统的建设成为21世纪初企业信息化建设的一股热潮

一方面业务迁移至线上之后，每天在产生大量业务数据的同时， 不可避免地会出现一些系统或者数据的问题， 而这些问题很多情况下需要专人来监控 管理 和 维护， 因此很多公司就设立了 一个新港湾 ， 数据库管理员 或者 数据库工程师 ，通过 dba 来对公司的底层数据进行设计 管理 和 运维

因此， 为了让管理人员和 业务人员能够了解到业务的整体运行情况， 很多企业右舵了一类 岗位， 业务数据分析师， 这一类 分析师 和传统数据分析师不同， IT时代的业务数据分析师所面临的问题不是数据匮乏二十数据过生， 主要职责是在了解业务和管理要求的前提下， 通过 工具将底层存放在数据库 中的原始 数据变成 一份 土包或者 报告， 从而实现从数据 视角 展现当前 企业在精英过程中取得的成绩 和 存在 的问题， 这个阶段的分析其实 还只是停留在对过去业务结果的统计， 形成了面向业务主题的客观事实 描述 和分析结果 ，但是 由于维度 有限 而且 停留于历史数据， 因此无法支撑企业级别的基于数据经营鞠策。

该阶段主要是以业务需求为导向 ，通过IT系统的建设， 四线 业务过程的流程化 自动化， 这个过程中可能会有少量数据记录， 但并没有以数据为导向 积累数据 主要是通过单一维度的少量数据的统计分析 进行 业务总结

统计分析级阶段主要以 以下5个特征

1企业战略方面

该级阶段的企业战略定位纯粹以业务为驱动，主要以满足企业业务需求， 实现业务过程的流程化， 自动化为导向

2 数据形态反面

可能有少量的业务数据积累， 但是 没有以数据为导向 积累数据， 数据主要以业务系统依托的关系型数据库进行储存， 数据无组织 各 业务数据分散 储存和管理， 数据维度单一， 尚未开始理解 全业务联调背后各个缓解的数据， 无数据质量管控

数据场景方面

该阶段的数据应用场景只针对业务系统中的关键数据和指标进行简单的，单一维度的统计分析和管理，服务业务总结， 每次基于业务目标的数据统计都需要定制化开始 如 周报 月报

数据应用根据层面， 该 阶段业务宝宝 主要基于系统嵌入式 报表模块产出 或者是系统数据导出 通过 excel 制作报表， 模式相对单一，

组织架构方面

该阶段企业无专门的数据相关部门， 主要以IT部门的数据库运维管理和业务部门的数据分析师weizhu

需要数据先关能力时 ， 一般用系统定制的统计报表 或者由 特定 业务部门提供excel 报表

第二阶段

决策支撑阶段

如果对数据的应用 仅 停留在单系统 但唯独 的统计分析 上， 只用于对于 历史业务开展情况进行 简单描述， 数据并没有 发挥出 应有的价值 ， 数据 只是 辅助 企业了解 业务运转的情况， 企业不再 满足于这种 现状， 希望能通过 数据为业务决策提供 支撑， 因此， 企业对数据的需求 逐渐开始向 更全面 更准确 更贴合 业务管理决策的方向演进， 其中最明显特征就是企业开始构建企业级 数据仓库， 有BI团队来支撑 需求分析 和决策

这么多来自于 不同系统的数据 口径 规范都不一致， 应该用哪一个数据才对， 面对类似问题， 多数企业想到最简单直接 的方案是寻找专业的团队， 用工具 对这些数据 进行抽象和提炼， 形成 能够 反应对 整个公司 业务运转 情况 的一套指标 体系， 通过 对指标体系 的监控 简洁 实现 对整个 公司业务运转情况的管理， 而 正是 沿着 这个思路， 很多企业专门成立了商业只能部门或者数据仓库部门 ，用来将业务或者管理人员提出 的指标需求转化成开发人员能够理解的文档， 同事 开始了 bi 工具， 精英决策管理 系统 和 大屏 可视化 工具和 系统 的建设， 希望将的大量复杂的原始数据 抽象 为指标， 并 以 体系化， 可视化 的方式 直接 呈现在决策者面前， 为其决策提供 数据支撑

总体而言 该阶段主要是企业在业务系统建设的基础上， 基于业务目标有意识的进行数据收集 管理 分析 通过企业数据仓库建设， 为企业 业务 提供决策支持

决策支撑阶段具有以下 五个特征

1企业战略层面

企业开始具备通过数据支撑精英决策的思路并在考虑通过数据可视化的方式 实现数据和业务的统合， 以解决 业务问题和支撑管理决策

2数据形态方面

开始注重业务过程中的数据积累， 开始对各个业务缓解的数据进行汇聚 管理 数据维度 逐渐丰富 ，以面向业务主题的指标体系为形式进行数据组织吗开始注重数据质量的管控， 实施数据质量控制

3 数据场景方面，

该阶段的数据应用场景开始基于数据参股进行各个业务主题的数据收集 管理 分析 为 企业管理人员提供决策支持，构建包括 领导驾驶舱、企业运行指数 ，企业第四周报表等场景应用

4数据应用工具方面

开始针对 数据收集 和管理建立你 数据仓库、 数据开发工具和专业可视化工具，进行系统化 数据收集、管理和分析。

5组织架构方面

开始出现数据分析师的岗位， 可能会设立专门的数据挖掘或者商业只能部门来支撑 企业进行数据化 决策

第三阶段， 数据驱动阶段

无论是在统计分析阶段还是决策支撑阶段， 业务的运转和数据之间依然是相互隔离的，企业对数据的应用都还停留在对部分维度的业务数据进行分析得到结果后， 再 由 人工对业务开展就那些不同程度的干预 最终实现业务优化 ， 其最主要的使用群体是管理者， 而 随着企业也物数据的不断丰富 ， 加上大数据 和人工智能技术的成熟和应用， 企业管理者们在面筋dt 时代后又开始了 新一轮的探索 ， 在应对海量原始业务数据无法直接被业务使用的问题时 ， 业务部门 根据 需求自建 大数据团队 以及相应的数据处理能力， 通过 汇聚 清洗 ， 建模 挖掘 等工作， 同时 借力于 it 行业几年来在计算能力和人工智能领域的飞速发展， 提升数据 处理结果的实时性和智能化成都， 将从数据中挖掘的价值 服务于业务

从而让数据驱动业务变得更精准 有效

典型应用场景 就是面向个体用户 进行千人千面 的推广展示 和精准营销， 企业首先根据需求， 收集 数据 ，打通所有相关数据后， 通过算法的能力， 实现 对用户偏好的挖掘， 从而实现不同客户 所得到的服务时专门量身定制的，

总地来看， 该阶段主要是企业在大数据北京下， 基于 数据 积累 ，利用大数据 ，机器学习 和深度 学习 技术 进行 数据的 深度挖掘 和分析， 通过 对 多远 异构 的全域数据的 汇聚 打通， 跨界 考虑 数据价值 的 应用， 通过 数据驱动业务发展， 为 业务应用提供 数据服务， 实现业务 与 数据的 深度融合

数据 驱动 具有 以下 5个特征

1 企业战略 方面

迈进 DT 时代，企业开始 将数据作为企业的重要 资产 和生产资料， 通过 大数据技术 对企业相关数据进行汇聚 打通 分析 挖掘， 为业务应用提供 数据服务， 通过数据 驱动业务发展

2 数据形态方面

业务数据积累具备一定规模， 对结构化数据， 非结果欧化数据进行处理与应用， 数据在组织形式上开始对业务涉及的相关数据进行汇聚 打通， 开始根据需求进行数据清洗加工和标准化处理

3数据场景方面

该阶段的数据已能用场景主要以满足业务需求为主， 主要是用数据提升现有业务能力， 进行智能化升级， 与上一个阶段数据 主要服务于 管理层不同， 从该阶段开始， 数据开始从管理层逐步转向具体的业务，业务开始认知到数据的价值， 开始业务和数据的融合。

利用算法进行深入挖掘和法分析， 实现数据与业务的深度融合， 为业务优化提供数据支撑， 最为典型的就是个性化推荐，风控，精准营销

数据应用工具方面

在该阶段， 企业开始通过以hadoop spark 生态体系为代表的批计算， 流计算， 即席计算，在线计算，等大数据处理技术以及机器学习， 深度学习算法进行数据汇聚 和开发，并最终为现有的业务场景赋能， 以驱动业务升级

组织架构

企业开始设立 业务部门的数据团队， 为业务场景的需求提供数据能力的支撑， 一般会设置大数据工程师，算法工程师 数据科学家等职位， 尝试通过大数据， 人工智能等技术就那些业务创新

运营优化阶段

数据驱动阶段， 在特定场景下， 数据已经与业务禁魔结合，数据在业务运转过程中直接产生价值， 但是， 由于数据应用都是独立建设的，没有从全局考虑， 企业在数据应用的过程中，经常会遇到标准口径不一致， 内容重复建设， 业务数据无法融合 产生更大的价值 ， 企业数据价值无法被业务快速 应用等问题， 因此， 企业开始考虑从全企业视角进行数据你能力的输出， 有些企业把这个定义为企业数据资产建设， 以数据来驱动企业升级转型

这个过程设计 汇聚 各类企业数据资产 ，消除物理孤岛， 通过 mapping 能力将数据 进行融合， 消除逻辑孤岛， 构建 企业统一的数据资产， 并进行数据治理， 使数据资产符合生产要求，通过数据服务化，快速服务于业务，过程中 针对 数据资产 的使用和内容 进行运营优化， 以是得 企业数据资产越用越有价值

真正 成为企业的核心资产，我们把这种能力的建设 定义为数据中台。

企业数据中台完成 数据资产建设后， 需要保障 数据资产在日常生产过程中 真实， 稳定 准确 ， 可用 和搞笑， 以实现数据资产价值最大化， 而实现这个目标之前， 企业首先要满足几个条件

1能够追溯 数据资产的形成 过程， 包括 涵盖了 哪些 数据来源， 经过了 怎么样的加工缓解， 涉及 哪些 业务环节 和部门

2 能及时 获取 到数据资产当前的状态， 尤其是数据质量 和女拳情况， 比如 更新品类 ， 合规性 空值率

3能够知道数据资产被哪些业务调用了，以通过建立数据闭环 了解和追溯数据资产所带来的业务价值

4能够对整个数据中台从数据采集到数据应用的整改链路建立监控体系， 便于及时发现和排出故障，保障数据资产的稳定性

5建立丰富的数据内外部共享和服务渠道，实现数据价值的释放和交换

满足上述条件， 从而有足够的信息来源 来支撑整个数资产的运营以及 迭代优化。

通过资产管理工具以及数据资产视图的建设来应对上述问题， 同时 从组织架构层面成立单独的数据资产管理机构来统筹数据资产的管理工作，

该 阶段主要是企业在大数据和人工智能 等相关技术的基础智商， 逐步完善， 构建一套完善的，体系化的是数据处理以及服务流程。

运营优化阶段具有以下 五个 特征

企业开始建设数据中台， 定位是为企业未来 舞蹈十年发展提供数据能力支撑， 在 dr 时代 对于企业进行智能化升级， 注重数据资源使用的合理性和效率， 并通过对数据资产有一集 服务的不断运营 ，建立了 从数据资产化到资产业务化 的可持续数据应用的搞笑闭环， 为企业圆圆不断输出 数据只能的能力
。

数据形态方面

在该阶段， 企业数据伴随数据驱动的业务快速发展， 数据量快速增长，通过建立企业体系化， 标准化的数据采集， 储存 打通 应用流程， 实现了 企业数据的全面资产化， 在数据质量方面，通过建立体系化的数据汇聚， 加工以及应用流程， 并逐渐通过运营手段完善数据管理制度和规范 ， 保障数据资产的搞笑输出 和循环落地机制， 形成 数据资产管理闭环。

数据场景方面

在该阶段， 数据应用通过统一的数据资产体系 提供统一 标准化的数据服务能力， 为企业各类快速变化的业务应用提供数据服务支撑， 包括原油业务的优化 以及 业务创新， 其服务可以通过 数据中台自初始 完成， 缩短 也数据到业务域 的路径

数据应用工具方面

企业在数据应用工具方面 除了通过Api 或 可视化的形态服务于业务场景之外， 开始 为企业数据资产的运营和管理者 挺专业化的数据资产 管理工具， 一遍对 数据资产进行统一进行管理和维护， 并通过 构建 数据运营指标对数据的价值 质量 安全 和 标准 建设情况 进行 度量， 为数据治理 奖惩 考核 等机制 提供相应 的能力支撑， 真正 形成一套让企业数据持续用起来的机制

组织架构方面

企业组织架构中开始在管理层 设置 数据管理委员会 cdo 负责数据机制的建设 和管理， 开始未来数据只能驱动的企业 战略 升级提供支撑 ， 将数据变成 企业 的一种 独特资产

同时也会成立专门的数据资产运营部门，一方面保障数据资产应用的合理性 和效率 ，另一方面构建企业数据资产对内和对外服务的通道， 将更多的数据服务消费者引入到平台当中。

数据应用能力成熟度可以总结为

统计分析 决策支持 数据驱动 运营优化

统计分析阶段

越来越多的企业开始尝试利用信息系统来进行流程和管理优化， 因此， mrp erp crm Oa 等 企业管理系统的建设成为21世纪初企业信息化建设的一股热潮

一方面业务迁移至线上之后，每天在产生大量业务数据的同时， 不可避免地会出现一些系统或者数据的问题， 而这些问题很多情况下需要专人来监控 管理 和 维护， 因此很多公司就设立了 一个新港湾 ， 数据库管理员 或者 数据库工程师 ，通过 dba 来对公司的底层数据进行设计 管理 和 运维

因此， 为了让管理人员和 业务人员能够了解到业务的整体运行情况， 很多企业右舵了一类 岗位， 业务数据分析师， 这一类 分析师 和传统数据分析师不同， IT时代的业务数据分析师所面临的问题不是数据匮乏二十数据过生， 主要职责是在了解业务和管理要求的前提下， 通过 工具将底层存放在数据库 中的原始 数据变成 一份 土包或者 报告， 从而实现从数据 视角 展现当前 企业在精英过程中取得的成绩 和 存在 的问题， 这个阶段的分析其实 还只是停留在对过去业务结果的统计， 形成了面向业务主题的客观事实 描述 和分析结果 ，但是 由于维度 有限 而且 停留于历史数据， 因此无法支撑企业级别的基于数据经营鞠策。

该阶段主要是以业务需求为导向 ，通过IT系统的建设， 四线 业务过程的流程化 自动化， 这个过程中可能会有少量数据记录， 但并没有以数据为导向 积累数据 主要是通过单一维度的少量数据的统计分析 进行 业务总结

统计分析级阶段主要以 以下5个特征

1企业战略方面

该级阶段的企业战略定位纯粹以业务为驱动，主要以满足企业业务需求， 实现业务过程的流程化， 自动化为导向

2 数据形态反面

可能有少量的业务数据积累， 但是 没有以数据为导向 积累数据， 数据主要以业务系统依托的关系型数据库进行储存， 数据无组织 各 业务数据分散 储存和管理， 数据维度单一， 尚未开始理解 全业务联调背后各个缓解的数据， 无数据质量管控

数据场景方面

该阶段的数据应用场景只针对业务系统中的关键数据和指标进行简单的，单一维度的统计分析和管理，服务业务总结， 每次基于业务目标的数据统计都需要定制化开始 如 周报 月报

数据应用根据层面， 该 阶段业务宝宝 主要基于系统嵌入式 报表模块产出 或者是系统数据导出 通过 excel 制作报表， 模式相对单一，

组织架构方面

该阶段企业无专门的数据相关部门， 主要以IT部门的数据库运维管理和业务部门的数据分析师weizhu

需要数据先关能力时 ， 一般用系统定制的统计报表 或者由 特定 业务部门提供excel 报表

第二阶段

决策支撑阶段

如果对数据的应用 仅 停留在单系统 但唯独 的统计分析 上， 只用于对于 历史业务开展情况进行 简单描述， 数据并没有 发挥出 应有的价值 ， 数据 只是 辅助 企业了解 业务运转的情况， 企业不再 满足于这种 现状， 希望能通过 数据为业务决策提供 支撑， 因此， 企业对数据的需求 逐渐开始向 更全面 更准确 更贴合 业务管理决策的方向演进， 其中最明显特征就是企业开始构建企业级 数据仓库， 有BI团队来支撑 需求分析 和决策

这么多来自于 不同系统的数据 口径 规范都不一致， 应该用哪一个数据才对， 面对类似问题， 多数企业想到最简单直接 的方案是寻找专业的团队， 用工具 对这些数据 进行抽象和提炼， 形成 能够 反应对 整个公司 业务运转 情况 的一套指标 体系， 通过 对指标体系 的监控 简洁 实现 对整个 公司业务运转情况的管理， 而 正是 沿着 这个思路， 很多企业专门成立了商业只能部门或者数据仓库部门 ，用来将业务或者管理人员提出 的指标需求转化成开发人员能够理解的文档， 同事 开始了 bi 工具， 精英决策管理 系统 和 大屏 可视化 工具和 系统 的建设， 希望将的大量复杂的原始数据 抽象 为指标， 并 以 体系化， 可视化 的方式 直接 呈现在决策者面前， 为其决策提供 数据支撑

总体而言 该阶段主要是企业在业务系统建设的基础上， 基于业务目标有意识的进行数据收集 管理 分析 通过企业数据仓库建设， 为企业 业务 提供决策支持

决策支撑阶段具有以下 五个特征

1企业战略层面

企业开始具备通过数据支撑精英决策的思路并在考虑通过数据可视化的方式 实现数据和业务的统合， 以解决 业务问题和支撑管理决策

2数据形态方面

开始注重业务过程中的数据积累， 开始对各个业务缓解的数据进行汇聚 管理 数据维度 逐渐丰富 ，以面向业务主题的指标体系为形式进行数据组织吗开始注重数据质量的管控， 实施数据质量控制

3 数据场景方面，

该阶段的数据应用场景开始基于数据参股进行各个业务主题的数据收集 管理 分析 为 企业管理人员提供决策支持，构建包括 领导驾驶舱、企业运行指数 ，企业第四周报表等场景应用

4数据应用工具方面

开始针对 数据收集 和管理建立你 数据仓库、 数据开发工具和专业可视化工具，进行系统化 数据收集、管理和分析。

5组织架构方面

开始出现数据分析师的岗位， 可能会设立专门的数据挖掘或者商业只能部门来支撑 企业进行数据化 决策

第三阶段， 数据驱动阶段

无论是在统计分析阶段还是决策支撑阶段， 业务的运转和数据之间依然是相互隔离的，企业对数据的应用都还停留在对部分维度的业务数据进行分析得到结果后， 再 由 人工对业务开展就那些不同程度的干预 最终实现业务优化 ， 其最主要的使用群体是管理者， 而 随着企业也物数据的不断丰富 ， 加上大数据 和人工智能技术的成熟和应用， 企业管理者们在面筋dt 时代后又开始了 新一轮的探索 ， 在应对海量原始业务数据无法直接被业务使用的问题时 ， 业务部门 根据 需求自建 大数据团队 以及相应的数据处理能力， 通过 汇聚 清洗 ， 建模 挖掘 等工作， 同时 借力于 it 行业几年来在计算能力和人工智能领域的飞速发展， 提升数据 处理结果的实时性和智能化成都， 将从数据中挖掘的价值 服务于业务

从而让数据驱动业务变得更精准 有效

典型应用场景 就是面向个体用户 进行千人千面 的推广展示 和精准营销， 企业首先根据需求， 收集 数据 ，打通所有相关数据后， 通过算法的能力， 实现 对用户偏好的挖掘， 从而实现不同客户 所得到的服务时专门量身定制的，

总地来看， 该阶段主要是企业在大数据北京下， 基于 数据 积累 ，利用大数据 ，机器学习 和深度 学习 技术 进行 数据的 深度挖掘 和分析， 通过 对 多远 异构 的全域数据的 汇聚 打通， 跨界 考虑 数据价值 的 应用， 通过 数据驱动业务发展， 为 业务应用提供 数据服务， 实现业务 与 数据的 深度融合

数据 驱动 具有 以下 5个特征

1 企业战略 方面

迈进 DT 时代，企业开始 将数据作为企业的重要 资产 和生产资料， 通过 大数据技术 对企业相关数据进行汇聚 打通 分析 挖掘， 为业务应用提供 数据服务， 通过数据 驱动业务发展

2 数据形态方面

业务数据积累具备一定规模， 对结构化数据， 非结果欧化数据进行处理与应用， 数据在组织形式上开始对业务涉及的相关数据进行汇聚 打通， 开始根据需求进行数据清洗加工和标准化处理

3数据场景方面

该阶段的数据已能用场景主要以满足业务需求为主， 主要是用数据提升现有业务能力， 进行智能化升级， 与上一个阶段数据 主要服务于 管理层不同， 从该阶段开始， 数据开始从管理层逐步转向具体的业务，业务开始认知到数据的价值， 开始业务和数据的融合。

利用算法进行深入挖掘和法分析， 实现数据与业务的深度融合， 为业务优化提供数据支撑， 最为典型的就是个性化推荐，风控，精准营销

数据应用工具方面

在该阶段， 企业开始通过以hadoop spark 生态体系为代表的批计算， 流计算， 即席计算，在线计算，等大数据处理技术以及机器学习， 深度学习算法进行数据汇聚 和开发，并最终为现有的业务场景赋能， 以驱动业务升级

组织架构

企业开始设立 业务部门的数据团队， 为业务场景的需求提供数据能力的支撑， 一般会设置大数据工程师，算法工程师 数据科学家等职位， 尝试通过大数据， 人工智能等技术就那些业务创新

运营优化阶段

数据驱动阶段， 在特定场景下， 数据已经与业务禁魔结合，数据在业务运转过程中直接产生价值， 但是， 由于数据应用都是独立建设的，没有从全局考虑， 企业在数据应用的过程中，经常会遇到标准口径不一致， 内容重复建设， 业务数据无法融合 产生更大的价值 ， 企业数据价值无法被业务快速 应用等问题， 因此， 企业开始考虑从全企业视角进行数据你能力的输出， 有些企业把这个定义为企业数据资产建设， 以数据来驱动企业升级转型

这个过程设计 汇聚 各类企业数据资产 ，消除物理孤岛， 通过 mapping 能力将数据 进行融合， 消除逻辑孤岛， 构建 企业统一的数据资产， 并进行数据治理， 使数据资产符合生产要求，通过数据服务化，快速服务于业务，过程中 针对 数据资产 的使用和内容 进行运营优化， 以是得 企业数据资产越用越有价值

真正 成为企业的核心资产，我们把这种能力的建设 定义为数据中台。

企业数据中台完成 数据资产建设后， 需要保障 数据资产在日常生产过程中 真实， 稳定 准确 ， 可用 和搞笑， 以实现数据资产价值最大化， 而实现这个目标之前， 企业首先要满足几个条件

1能够追溯 数据资产的形成 过程， 包括 涵盖了 哪些 数据来源， 经过了 怎么样的加工缓解， 涉及 哪些 业务环节 和部门

2 能及时 获取 到数据资产当前的状态， 尤其是数据质量 和女拳情况， 比如 更新品类 ， 合规性 空值率

3能够知道数据资产被哪些业务调用了，以通过建立数据闭环 了解和追溯数据资产所带来的业务价值

4能够对整个数据中台从数据采集到数据应用的整改链路建立监控体系， 便于及时发现和排出故障，保障数据资产的稳定性

5建立丰富的数据内外部共享和服务渠道，实现数据价值的释放和交换

满足上述条件， 从而有足够的信息来源 来支撑整个数资产的运营以及 迭代优化。

通过资产管理工具以及数据资产视图的建设来应对上述问题， 同时 从组织架构层面成立单独的数据资产管理机构来统筹数据资产的管理工作，

该 阶段主要是企业在大数据和人工智能 等相关技术的基础智商， 逐步完善， 构建一套完善的，体系化的是数据处理以及服务流程。

运营优化阶段具有以下 五个 特征

企业开始建设数据中台， 定位是为企业未来 舞蹈十年发展提供数据能力支撑， 在 dr 时代 对于企业进行智能化升级， 注重数据资源使用的合理性和效率， 并通过对数据资产有一集 服务的不断运营 ，建立了 从数据资产化到资产业务化 的可持续数据应用的搞笑闭环， 为企业圆圆不断输出 数据只能的能力
。

数据形态方面

在该阶段， 企业数据伴随数据驱动的业务快速发展， 数据量快速增长，通过建立企业体系化， 标准化的数据采集， 储存 打通 应用流程， 实现了 企业数据的全面资产化， 在数据质量方面，通过建立体系化的数据汇聚， 加工以及应用流程， 并逐渐通过运营手段完善数据管理制度和规范 ， 保障数据资产的搞笑输出 和循环落地机制， 形成 数据资产管理闭环。

数据场景方面

在该阶段， 数据应用通过统一的数据资产体系 提供统一 标准化的数据服务能力， 为企业各类快速变化的业务应用提供数据服务支撑， 包括原油业务的优化 以及 业务创新， 其服务可以通过 数据中台自初始 完成， 缩短 也数据到业务域 的路径

数据应用工具方面

企业在数据应用工具方面 除了通过Api 或 可视化的形态服务于业务场景之外， 开始 为企业数据资产的运营和管理者 挺专业化的数据资产 管理工具， 一遍对 数据资产进行统一进行管理和维护， 并通过 构建 数据运营指标对数据的价值 质量 安全 和 标准 建设情况 进行 度量， 为数据治理 奖惩 考核 等机制 提供相应 的能力支撑， 真正 形成一套让企业数据持续用起来的机制

组织架构方面

企业组织架构中开始在管理层 设置 数据管理委员会 cdo 负责数据机制的建设 和管理， 开始未来数据只能驱动的企业 战略 升级提供支撑 ， 将数据变成 企业 的一种 独特资产

同时也会成立专门的数据资产运营部门，一方面保障数据资产应用的合理性 和效率 ，另一方面构建企业数据资产对内和对外服务的通道， 将更多的数据服务消费者引入到平台当中。

数据组织形式 来分

数据分三类

结构化数据 数据库表 excel二维表

半结构化数据 无法通过二维关系来表现， json xml

非结构化数据 数据结构不规则或不完整， 不方便用二维逻辑表来表现， 需要经过复杂的逻辑处理才能提取其中的信息内容

办公文档 图片 图像 音视频

时效性 应用场景

离线

实时

在是数据建设过程中有etl 抽取 转换 储存 的操作， 即 在数据抽取过程中进行 数据的加工转换， 然后加载到储存中，再通过大数据和人工智能相关技术 对 数据进行清洗 和处理，如果采用etl 的模式在传输过程中进行复杂的清洗， 会 因为 数据 体谅过大的清洗逻辑的 复杂性 导致 数据 传输 的 效率大大 降低， 另一方面 etl 模式在清洗过程中 只 提取 有价值的 信息 进行储存， 而是否有价值 是基于 目前对数据的认知来判断的， 由于 数据 价值 会随着我们对数据的认知 以及数据只能 相关技术 的房发展而不断被 挖掘

因此 etl 模式 很容易出现 一些有价值的数据被清洗掉， 导致 当某一天需要用这些 数据 时 ， 又 需要重新处理， 甚至数据丢失 无法找回， 相比 储存的成本 ，这种 损失 可能会更大， 所以在数据能力建设过程中， 很多企业结合自身的场景和 最佳实践也开源了一些优秀的汇聚 工具 ， 如 sqoop datax canal

数据交换产品

数据交换中心的首要目的是屏蔽底层工具的复杂性，以可视化配置的方式提供给， 七尺需要考虑，为了解决 数据鼓捣， 需要满足异构储存， 异构 数据类型的交换需求， 同时， 还要考虑不同时效要求下的数据互通， 因此， 数据叫魂平台需要屏蔽学习通低能协议， 传输安全 、特性组建等信息， 让开发法人员在数据接入过程中无须关注数据格式转换， 数据路由 数据丢失， 只需要关注 与业务本身的数据交换部分 ， 企业信息化建设的多种数据类型， 可以通过同步模块的数据源进行统一管理， 方便用户快速 通过可视化 页面执行数据汇聚工作。

在构建数据交换中心的实践过程中 ，基于异构数据源， 异构产商集群 数据应用时效性和相关技术栈等因素考虑， 草去了不同的同步策略， 离线数据同步额实时 数据同步， 同时 在两种同步服务的产品形态上，可以采用相同的可视化同步配置策略， 以降低用户操作成本

数据预案管理主要是管理数据所用的储存， 用于平台在做数据交换时可以方便地 对外部储存进行相应的管理， 数据源 可以 是 已有 系统储存业务数据的地方 作为数据中台的数据来源， 也可以是数据应用场景， 为应用场景提供结果 数据储存的地方

根据业务系统弄以及 数据应用 场景的不同 数据源 也有 不同的选择，

关系型 数据库 oracle mysql sql serber greenplum

nosql
hbase redis elasticsearch casandra mongodb

网络 以及 mq 卡夫卡卡 http

文件系统 hdfs ftp oss csv txt exel

大数据相关 hive impala kudu maxconpute adb
libra elk

离线数据交换

离线数据交换 是针对数据 时效要求低 ， 吞吐量大 的场景， 解决 大规模 数据 的 批量 迁移问题， 其实现 原理是将不同弄数据源 的交换抽象为从源头数据源 读取 数据的 读取 插件， 以及想目标段 ， 写入数据的写入 插件， 理论上可以支持任意类型 数据源的数据交换工作， 采用从插件化 方式 构建， 将数据源读取 和写入 抽象成 读取插件 写入 插件

非结构化的数据 也可以 通过 扩展插件方式 进行 交换， 其 场景主要是以文件或数据块的方式进行交换， 因此 只需要 适配源 或 目的 储存的相应插件以及 数据 处理的机制， 如文件传输， 数据块 保存为特定格式的文件， 即可 满足 相应的需求

读取插件
数据采集模块 负责采集 数据源 的数据， 将数据发送给数据交换 核心 模块

写入插件， 数据写入模块 ，不断从数据交换核心 模块 取 数据 并将数据写入到目的端

数据交换核心模块， 用于 了解 读取插件 和 写入插件， 作为两者的数据传输 通道， 并 处理缓冲 留空 并发 数据转换等 核心技术问题

离线数据同步技术

1前置稽核

2数据转换

3跨集群数据同步

4全量同步

5增量同步

新增 覆盖 更新

实时数据交换

实时数据交换主要负责把数据库 日志 爬虫 等数据实时写入 卡发卡 hive oracle 等储存中 便于后续进行实时计算 或 提供业务查询分析使用

整改技术架构如图

实时同步有两个核心服务 ， 数据订阅服务， 数据消费服务

数据订阅服务主要包含数据的订阅 和读取， 任务示例 的启停控制 等功能，

数据消费服务 主要包含 任务状态控制 数据解析 数据过滤 数据转换 数据写入 等功能， 通过 tcp 通信方式 和数据订阅方式 进行数据读取 和传输 ，经过任务配置的过滤 转换 等 功能 写入到目的段 扩展 不同 类型的数据源 写入

看数据储存的选择

OLTP OLAP

这两个是相对传统的属于， 在大数据时代， oltp用于储存和管理日常操作的数据， OLAP 用于分析这些数据

oltp 练级事务处理， 专注于面向事务的任务的一类数据处理， 通常涉及在数据库中插入， 更新或删除少量数据， 主要处理大量用户下的大量事物， 一般都是高可用的在线科通

OLAP就是我们说的数据仓库，常用于报表分析场景

OLAP 主要通过多维的方式来对数据进行分析 查询 并生产报表， 不同于传统的oltp 处理应用， oltp 应用主要是用来完成用户的事物 处理，

olap 系统的应用主要是对用户当前的数据和历史数据进行分析， 帮助市场做决策， 制定营销策略， 主要用来 执行大量的查询操作， 对实时性要求低

分布式系统 ， 保安多个自主处理单元， 通过计算机网络互连写作完成分配的任务

分布式文件系统， 储存管理需要多种技术的协同工作， 其中文件系统为其提供 最底层 纯能力的支持， 分布式 文件系统 hdfs
是一个高度容错性 系统， 被设计成适用于 批量处理 能够提供高吞吐量的数据访问

分布式 键值 系统， 用于储存关系简单的半结构化 数据， 典型的分布式 键值系统有amazon dynamo
其储存和管理的是对象 而不是数据块

nosql数据库

关系型数据库 已经无法满足 web2 的需求

无法满足海量数据的管理需求

无法满足数据高并发的需求

高可扩展性和高可用性的功能太低

nosql 数据库的优势 可以支持超大规模数据储存， 灵活的数据模型可以很好地支持web2应用， 具有强大的横向扩展能力， 典型nosql 数据库包含

键值 列族数据库

文档数据库

图形数据库

hbase

mongodb

云数据库

云数据库积极与云计算技术的一种共享基础架构

部署和虚拟化在云计算环境中的数据库，运输局并非一种全新的数据库技术

只是以服务的方式提供数据库功能

云数据库采用的数据模型可以使 关数据库所使用的关系模型

同一个公司也可能提供采用不同数据模型的多种云数据库fuwu

数据域数据之间天然存在这 现行隐形 的关系

要创造应用场景， 需要将数据进行物理层面的汇聚， 让有价值的数据自动 快速 整合到哦统一的储存空间

数据汇聚 是数据中台建设的第一个缓解， 主要目的是打破企业数据的物理孤岛，

为后续资产提供价值

数据开发， 数据价值提炼工厂

汇聚连通等到中台的数据， 基笨是按照数据的原始状态堆砌的

数据开发是数据资产内容建设的主战场

是数据价值生产过程中的核心缓解， 可以支撑大批量数据的离线处理 ，实时处理和数据挖掘

业务城店 需要为前提调节键

为前端业务提供所需要的原始数据

数据开发设计的产品能力主要包含三个部分

离线开发 实时开发 算法开发

常见的加工场景有离线和实时数仓建设， 算法模型训练 数据化运营分析， 数据探索等

数据计算能力的4种类型

批计算 流计算， 在线查询 和即席分析

计算量增加，原油计算框架无法支撑庞大数据处理

所以需要引入大数据技术

mapreduce 分布式 变成模型，

实时处理框架， storm flink spark streaming

离线开发 作业调度

在数据开发过程中， 需要进行作业调度

异构储存

代码校验

算法开发支撑多环境 多集群， 多形态模型 服务化能力的算法开发工具对企业创新业务， 实现数据智能化起着直观重要的左右，

算法开发作为一站式 的企业级 机器学习 工具， 要快速富裕企业构建和旋算法服务的能力

数据开发是数据中台的核心能力质疑， 是数据资产内容建设的主战场

是数据价值产生 的核心环节， 一个成熟的数据中台， 具备大批量数据的离线处理， 实时流数据处理， 非结构化处理 和数据挖掘等能力。

全量数据 结构层次 数据准确性 性能提升 降低成本 方便易用

ods dw tdw ads