数据中台和传统数仓的区别

2019独角兽企业重金招聘Python工程师标准>>>

中台系统把业务层同性的算法能力，服务能力，业务能力高度集成，有效组织 ，动态规划。更好的帮助上层业务。 今天就让我们看看关于数据中台的问答吧。

1

 

Q : 什么是数据中台？

 

A : 数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性，是这个企业独有的且能复用的，它是企业业务和数据的沉淀，其不仅能降低重复建设、减少烟囱式协作的成本，也是差异化竞争优势所在。

 

2

Q : 为什么要建立数据中台？

 

A : 1、回归服务的本质-数据重用

    2、数据中台需要不断的业务滋养

    4、数据中台是人才成长的摇篮

    3、数据中台是培育业务创新的土壤

 

3

 

Q : 数据中台的建立的原则有什么？

 

A : 首先，企业的组织架构及机制需要顺势而变。比如以前负责数据的部门或团队往往缺乏话语权，面对业务需求往往是被动的接受的角色，这让一切数据中台的想法化为泡影，需要为数据中台团队授权。

 

其次，要改变工作方式。现在很多企业的数据团队的主要工作内容就是项目管理、需求管理等等，当一个项目完成后又投入到下一个项目，做好一个需求后又开始负责下一个需求，这样的工作确实非常锻炼人的组织、协调能力，但这样能力的提升与工作时间的长短并不是呈线性增长的，虽然增加了项目和需求管理经验，但并不能在某一个专业领域得到知识和经验的沉淀，随着时间的流逝，越来越多的人会失去最初的工作积极性和创造性，事实上，数据人员只有深入的研究业务、数据和模型，端到端的去实践，打造出数据中台，才是最大的价值创造，才能使得持续创新成为可能。

第三，数据中台的团队要从传统的支撑角色逐步向运营角色转变。不仅在数据上，在业务上也要努力赶超业务人员，中台人员要逐步建立起对于业务的话语权，不仅仅是接受需求的角色，更要能提出合理的建议，能为业务带来新的增长点，比如精确营销。

最后，中台是适合公司特点的。最合适的中台是当你深入了解业务、产品、系统、组织，而且不仅了解今天在哪里，还要了解过去是怎么演变而来，未来又会怎么演化。只有当了解所有的东西之后，才能做出较好的中台架构设计。

 

4

 

 

Q : 数据中台能帮企业解决哪些问题？

 

A : 构建数据中台，本质上是构建数据共享能力的中心，帮助客户解决数据存储、计算、打通的问题。同时也解决了企业IT信息化建设遗留下来的各个系统之间的互通问题，并在此基础上构建数据智能场景的应用创新。

 

5

Q : 数据中台和传统数仓的区别是什么？

 

A : 详见下图

伴随着云计算、大数据、人工智能等IT技术迅速发展及与传统行业实现快速融合，一场由数字化和智能化转型带来的产业变革正在孕育。

 

随着企业规模不断扩大、业务多元化——中台服务架构的应运而生。“中台”早期是由美军的作战体系演化而来的，技术上说的“中台”主要是指学习这种高效、灵活和强大的指挥作战体系。阿里在今年发布“双中台+ET”数字化转型方法论，“双中台”指的是数字中台和业务中台。

 

数据中台是什么

 

数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性，是这个企业独有的且能复用的，它是企业业务和数据的沉淀，其不仅能降低重复建设、减少烟囱式协作的成本，也是差异化竞争优势所在。

 

广义的数据中台包括了数据技术，比如对海量数据进行采集、计算、存储、加工的一系列技术集合，今天谈到的数据中台包括数据模型，算法服务，数据产品，数据管理等等，和企业的业务有较强的关联性，是企业独有的且能复用的，比如企业自建的2000个基础模型，300个融合模型，5万个标签。它是企业业务和数据的沉淀，其不仅能降低重复建设，减少烟囱式协作的成本，也是差异化竞争优势所在。

 

建立数据中台的原因

 

数据中台和业务中台相比，面临的情况可能会更加复杂一点。建立数据中台的原因：

 

• 大数据可以告诉决策者一些潜在的规律，以数据来证明或判断决策。以往我们会用数据来证明我们的决策对错，现在我们用数据来引导我们做出对的决策。在大数据时代，样本就是全体，大数据可以防止伪造和偏差。

• 数据催生人工智能。数据是人工智能的根基，并且可以进行融合形成新的数据。数据给我们无限的创新，让我们不停去尝试。

• 数据是机器人的指令，我们形成数据服务思维。数据是不断变化的，让机器智能成为决策环节，运营就可以智能化。

 

 

中台的目标是提升效能、数据化运营、更好支持业务发展和创新，是多领域、多BU、多系统的负责协同。中台是平台化的自然演进，这种演进带来“去中心化“的组织模式，突出对能力复用、协调控制的能力，以及业务创新的差异化构建能力。为什么数据中台如此重要呢，大致有以下四个原因：

 

1、回归服务的本质-数据重用

 

浙江移动已经将2000个基础模型作为所有数据服务开发的基础，这些基础模型做到了“书同文，车同轨”，无论应用的 数据模型有多复杂，总是能溯源到2000张基础表，这奠定了数据核对和认知的基础，最大程度的避免了“重复数据抽取和维护带来的成本浪费。”

曾经企业的数据抽取就有多份，报表一份，数据仓库一份，地市集市一份，无论是抽取压力、维护难度及数据一致性要求都很高。同时，统一的基础模型将相关业务领域的数据做了很好的汇聚，解决了数据互通的诉求，这点的意义巨大，谁都知道数据1+1>2的意思。

 

2、数据中台需要不断的业务滋养

 

在企业内，无论是专题、报表或取数，当前基本是烟囱式数据生产模式或者是项目制建设方式，必然导致数据知识得不到沉淀和持续发展，从而造成模型不能真正成为可重用的组件，无法支撑数据分析的快速响应和创新。其实，业务最不需要的就是模型的稳定，一个数据模型如果一味追求稳定不变，一定程度就是故步自封，这样的做法必然导致其他的新的类似的数据模型产生。

 

数据模型不需要“稳定”，而需要不断的滋养，只有在滋养中才能从最初的字段单一到逐渐成长为企业最为宝贵的模型资产。

 

以报表为例，企业报表成千上万的原因往往也是没有沉淀造成的，针对一个业务报表，由于不同的业务人员提出的角度不同，会幻化出成百上千的报表，如果有报表中台的概念，就可以提出一些基准报表的原则，比如一个业务一张报表，已经有的业务报表只允许修改而不允许新增，自然老报表就会由于新的需求而不断完善，从而能演化成企业的基础报表目录，否则就是一堆报表的堆砌，后续的数据一致性问题层出不穷，管理成本急剧增加，人力投入越来越多，这样的事情在每个企业都在发生。

 

3、数据中台是培育业务创新的土壤

 

企业的数据创新一定要站在巨人的肩膀上，即从数据中台开始，不能总是从基础做起，数据中台是数据创新效率的保障。研究过机器学习的都知道，没有好的规整数据，数据准备的过程极其冗长，这也是数据仓库模型的一个核心价值所在，比如运营商中要获取3个月的ARPU数据，如果没有融合模型的支撑，得自己从账单一层层汇总及关联，速度可想而知。

 

在如今的互联网时代，企业都在全力谋求转型，转型的关键是要具备跟互联网公司一样的快速创新能力，大数据是其中一个核心驱动力，但拥有大数据还是不够的，数据中台的能力往往最终决定速度，拥有速度意味着试错成本很低，意味着可以再来一次。

 

4、数据中台是人才成长的摇篮

 

原来新员工入职要获得成长，一是靠人带，二是找人问，三是自己登陆各种系统去看源代码，这样的学习比较支离破碎，其实很难了解全貌，无法知道什么东西对于企业是最重要的，获得的文档资料也往往也是过了时的。

 

现在有了数据中台，很多成长问题就能解决，有了基础模型，新人可以系统的学习企业有哪些基本数据能力，O域数据的增加更是让其有更广阔的视野，有了融合模型，新人可以知道有哪些主题域，从主题域切入去全局的理解公司的业务概念，有了标签库，新人可以获得前人的所有智慧结晶，有了数据管理平台，新人能清晰的追溯数据、标签和应用的来龙去脉，所有的知识都是在线的，最新的，意味着新人的高起点。

 

更为关键的是，数据中台让新人摆脱了在起步阶段对于导师的过渡依赖，能快速的融入团队，在前人的基础上进行创新。数据中台天然的统一，集成的特性，有可能让新人打破点线的束缚，快速构筑起自己的知识体系，成为企业数据领域的专家。

 

当然，数据中台的建立不是一蹴而就的，每个企业都应该基于实际打造独有的中台能力，在这个过程中，需要遵循一些原则：

 

首先，企业的组织架构及机制需要顺势而变。比如以前负责数据的部门或团队往往缺乏话语权，面对业务需求往往是被动的接受的角色，这让一切数据中台的想法化为泡影，需要为数据中台团队授权。

 

其次，要改变工作方式。现在很多企业的数据团队的主要工作内容就是项目管理、需求管理等等，当一个项目完成后又投入到下一个项目，做好一个需求后又开始负责下一个需求，这样的工作确实非常锻炼人的组织、协调能力，但这样能力的提升与工作时间的长短并不是呈线性增长的，虽然增加了项目和需求管理经验，但并不能在某一个专业领域得到知识和经验的沉淀，随着时间的流逝，越来越多的人会失去最初的工作积极性和创造性，事实上，数据人员只有深入的研究业务、数据和模型，端到端的去实践，打造出数据中台，才是最大的价值创造，才能使得持续创新成为可能。

 

第三，数据中台的团队要从传统的支撑角色逐步向运营角色转变。不仅在数据上，在业务上也要努力赶超业务人员，中台人员要逐步建立起对于业务的话语权，不仅仅是接受需求的角色，更要能提出合理的建议，能为业务带来新的增长点，比如精确营销。

 

最后，中台是适合公司特点的。最合适的中台是当你深入了解业务、产品、系统、组织，而且不仅了解今天在哪里，还要了解过去是怎么演变而来，未来又会怎么演化。只有当了解所有的东西之后，才能做出较好的中台架构设计。

 

理解数据中台:

目前数据仓库或者数据平台存在的问题：

效率问题：为什么应用开发增加一个报表，就要十几天时间？为什么不能实时获得用户推荐清单？当业务人员对数据产生一点疑问的时候，需要花费很长的时间，结果发现是数据源的数据变了，最终影响上线时间。

协作问题：当业务应用开发的时候，虽然和别的项目需求大致差不多，但因为是别的项目组维护的，所以数据还是要自己再开发一遍。

能力问题：数据的处理和维护是一个相对独立的技术，需要相当专业的人来完成，但是很多时候，我们有一大把的应用开发人员，而数据开发人员很少。

 

这也是数据中台解决的问题

 

 

 

Data API 是数据中台的核心，它是连接前台和后台的桥梁，通过 API 的方式提供数据服务，而不是直接把数据库给前台、让前台开发自行使用数据。

至于产生 DataAPI 的过程，怎么样让 DataAPI 产生得更快，怎么样让 DATA API 更加清晰，怎么样让 DATA API 的数据质量更好，这些是要围绕数据中台去构建的能力。

 

数据中台和数据仓库、数据平台的关键区别？

概括地说，三者的关键区别有以下几方面：

数据中台是企业级的逻辑概念，体现企业 D2V（Data to Value）的能力，为业务提供服务的主要方式是数据 API；

数据仓库是一个相对具体的功能概念，是存储和管理一个或多个主题数据的集合，为业务提供服务的方式主要是分析报表；

数据平台是在大数据基础上出现的融合了结构化和非结构化数据的数据基础平台，为业务提供服务的方式主要是直接提供数据集；

数据中台距离业务更近，为业务提供速度更快的服务；

数据仓库是为了支持管理决策分析，而数据中台则是将数据服务化之后提供给业务系统，不仅限于分析型场景，也适用于交易型场景；

数据中台可以建立在数据仓库和数据平台之上，是加速企业从数据到业务价值的过程的中间层。

 

数据仓库具有历史性，其中存储的数据大多是结构化数据，这些数据并非企业全量数据，而是根据需求针对性抽取的，

因此数据仓库对于业务的价值是各种各样的报表，但这些报表又无法实时产生。数据仓库报表虽然能够提供部分业务价值，但不能直接影响业务。

数据平台的出现是为了解决数据仓库不能处理非结构化数据和报表开发周期长的问题，所以先撇开业务需求、把企业所有的数据都抽取出来放到一起，成为一个大的数据集，其中有结构化数据、非结构化数据等。

当业务方有需求的时候，再把他们需要的若干个小数据集单独提取出来，以数据集的形式提供给数据应用。

而数据中台是在数据仓库和数据平台的基础上，将数据生产为为一个个数据 API 服务，以更高效的方式提供给业务

 

在 ThoughtWorks 提出的精益数据创新体系中将企业所需要具备的数据能力概括为以下六种，具备了这六种能力，企业才具备成为数据驱动的智能企业的基础，而这些能力的承载平台，就是数据中台：

 

 

什么是数据资产？

 

数据资产不等同于数据，数据资产是唯一的，能为业务产生价值的数据。

 

转载于:https://my.oschina.net/hblt147/blog/3038847