架构师：数据平台开发工具链

导读：数据中台整体建设是CTO、大数据总监、大数据负责人该考虑的，起码得考虑1年以上，建设周期2年起步（分阶段），作为架构师应该考虑的是支撑数据中台建设的体系与架构。

一、数据平台/中台架构体系

（一）基础设施/基础平台

1. 存储引擎

2. 计算引擎

3. 辅助服务

（二）数据集成

（三）数据开发

1. 数据开发IDE

（四）工作流调度

（五）数据治理

1. 数据质量

2. 元数据管理

3. 数据安全

（六）数据可视化

（七）DevOps

（八）其他数据服务

二、咱们的数据平台/中台架构

图片来自：大数据产品平台化体系.xmind

三、 中台战略思考

（一） 数据体系及架构的演进

我们首先看看数据体系和架构的演进

（1）数据体系演进：数据仓库->数据平台->数据湖->数据中台(通用业务下沉)

（2）技术架构演进：hive->CDH体系->更全->更全

（二） 数据中台未来发展方向

1、实时数据中台

目前各大公司数据中台中实时数据计算占比少，模型复用率低，公共计算逻辑下沉做得不好。

未来需要把现在的理念推广到实时加⼯链路，构建实时数据中台。

2、云原生数据中台

基于k8s，弹性资源调度，实现在线和离线混布，提高资源使用成本。

3、自动化数据研发流水线(DataDevOPS)

可视化操作，可视化ETL，数据开发自动化流水线...

4、智能元数据管理

智能数据发现，智能元数据分析。

5、通用数据产品建设

更多的企业会研发自己的通用数据产品，甚至有更多通用的数据产品被开源出来，例如用户行为分析产品。

（三）中台战略反思

  1、中台并非万能钥匙

中台并非万能钥匙，当初为了解决组织和效率的问题，大多数企业开始跟风建设，最后发现有效果但是矫枉过正了，把太多的东西放在了中台导致不利于业务创新。

中台并不是不支持创新，正相反，阿里中台孵化出“盒马鲜生”这样的现象级产品，如果没有中台，不可能半年打造出一整套线上线下新零售系统。

准确的说， 中台适合做“组合式创新”，没法做“颠覆式创新”。所谓组合式创新，是把现有几个能力进行组合，形成新的能力，它强调能力的标准化，这个恰恰是中台所擅长的。以“盒马鲜生”为例，它复用了中台的商品、库存、用户、支付、 AI、安全等多个服务能力，经过重新组合，形成了“零售新物种”。

但是， 颠覆式创新，是从根上做创新，它要打烂前台、中台、后台，颠覆现有模式和能力。比如智能制造颠覆传统制造、智能手机颠覆传统手机，你没法在现有生产线上去创造，只有打破原有模式。所以， 中台不支持颠覆式创新， 这是中台的基因所决定的。

把最抽象的部分留在中台，这样中台就剩下很薄的一层，通过这几年沉淀下来的通用能力来提高效率，可以大大减少人力，释放出来的人去前台做个性化的改造。

2、不同企业应该量体裁衣

初创公司正经历从0到1的阶段：没必要建设中台，生存下去最重要，中台还没搭建好公司可能就死了

中⼩型公司从1到N的阶段适合搭建中台：生存问题已经解决，在项目没有太复杂之前下沉通用业务，为后续业务爆发做准备

中⼤型公司从N到N+1阶段中台战略势在必行

（四） 碎片化中台

中台会越来越薄+碎片化中台

2015年底阿里推出“中台”战略，将庞大的业务服务能力，都装进了“业务中台”里，包括交易中心、支付中心、清算中台、用户中心、产品中心等13个业务域，这是阿里中台早期的架构图：

随着阿里中台战略的深入， 2018年阿里提出了“业务——数据双中台”战略，可以理解为升级版的中台战略，依托阿里云ET大脑，向社会输出中台能力和方法论。阿里的中台一分为二：数据中台、业务中台，如下图：

这一“拆”，仿佛打通了中台战略的任督二脉，从此一发不可收拾，相继拆分出：移动中台、技术中台、风险能力中台、研发效能中台等等。至此，阿里在“拆”中台的路上，越走越远。

（五）中台战略的三个阶段

碎片化中台，是中台架构演进的必经阶段，各行业经过几年的实践，也逐渐沉淀出⼀些贴合自己行业的中台实践。

不同⾏业，不同企业，遇到的问题不同，解决的路径也是不一样的。从中台演进的过程来看，大致分成三个阶段。

阶段1：业务中台

企业从业务顶层规划、业务建模开始，梳理出各业务领域的边界、服务能力，进而指导系统的服务化建设，比较好的实践有：企业EAI、微服务等等。

阶段2：双中台

企业具备了业务领域建模、数据治理方面的能⼒，逐步建立起基于业务中台和数据中台的“双中台”模式，在这个过程中，沉淀自己的中台方法论和实践。值得注意的是， 由于业务领域建模和数据治理的行业性、专业性太强，这类人才大概率只能在企业内部培养。

阶段3：碎片化中台

在完成业务中台、数据中台的建设之后，企业组织的效率已经有了显著提升，企业成本也随之降低。这个时候，中台建设进入到了碎片化中台阶段，组织内部按业务线或职能进行更细粒度拆分，比如：安全中台、财务中台、移动中台、客服中台、供应商中台、物流中台等等。

整个中台战略伴随的是组织架构的变更：中央集权->两家独大->群雄并起

数据中台会成为未来的主流吗？相信每个数据人会有每个人的答案，每个公司也会有每个公司的选择

来自：数据仓库与Python大数据

推荐阅读：
世界的真实格局分析，地球人类社会底层运行原理
不是你需要中台，而是一名合格的架构师（附各大厂中台建设PPT）

企业IT技术架构规划方案

论数字化转型——转什么，如何转？

华为干部与人才发展手册（附PPT）

企业10大管理流程图，数字化转型从业者必备！

【中台实践】华为大数据中台架构分享.pdf

华为的数字化转型方法论

华为如何实施数字化转型（附PPT）

超详细280页Docker实战文档！开放下载

华为大数据解决方案（PPT）