火热的数据中台对企业的价值是什么?

数据实际上是一个非常传统的行业。

 

有软件开始的那一天起,数据这个行业就存在了。比如说原来最早的时候,有非常多的数据报表数据可视化,然后到后来,有了商业智能,有了Data Warehouse(就是数据仓库),然后数据挖掘,并且在数据这个行业里面是有非常多的巨头的,比如teradata、cognos,biee、microstrategy等。

 

数据这个行业不仅仅是软件,它还有管理的部分,也就是说数据治理,即如何让企业的数据治理的质量更好。所以数据这个行业本身是一个非常传统的行业。每个大型一点的企业都有自己的数据分析部门,数据仓库部门。

 

那么为什么数据湖也好,数据平台也好,在过去都没有像今年数据中台这么热门。而且关注数据中台的还不仅仅是技术部门,很多都是业务部门。那么业务部门为什么这么热衷于数据中台,业务部门以前不是特别关注这些技术的数据平台和这些技术的概念。

 

大概在04,05年,我就开始从事一些跟数据相关的工作,在06年的时候做过一个数据仓库的项目。

讲到数据中台,我们就要提到平台化。我们现在所讲的SAAS也好,所讲的PAAS也好,所讲的数据中台也好,所讲的业务中台也好,它实际上根本的思想来源是来自于平台化,就是Platform

平台化的概念

举个例子,我们拿一个饮料厂的产品线来讲,那么他可以生产果汁,可以生产饮料,还可以生产其他的产品,它可能是三四条不同的生产线。从原材料加工成饮料,它有很多环节,虽然品种不一样,但是它很多环节是类似的,比如装瓶、搅拌。

 

那么这几个不同的生产流程、生产线,我们可以把那些公共的部分合并起来,更加专业化,然后并且让他们独立去维护,之后把那些不同的产品面向客户,使客户体验不同的产品,使它独立出来,这就是平台化的思路。

所以,平台化的思路很重要的就是把那些有共性的资源,有共性的能力合并在一起,然后把那些面向客户的价值独立出来。

 

这样的话,专业的人做专业的事情,并且对于企业的绩效也非常的有利,不揉在一块了,更加的清晰,所以这就是平台化的思路。

 

那么不管什么中台,它实际上都是平台思想的一个体现,一种具象。

所以从软件角度来看,那么这个图是十几年前,所谓的EAI,即企业应用集成。

 

最早的时候企业的应用集成是一种点对点的形式,以前没有前后台之分,比如说所有的业务系统可能最后都要结账,都要算账,那就叫财务系统。然后所有的财务系统在结账的时候,WBS code,我们所讲的项目编码,叫项目系统。所以这样的话在这里面有很多的系统,它的功能要被多个其他的系统所调用,原来的网状点对点集成结构很复杂而且一团麻,摩擦非常多,经常搞不清楚,数据不统一、规则也不一致。

 

这种情况下,平台化思路怎么解决?

 

以前我们称ESB,为企业的服务总线,然后将多个服务,用SOA的方式,把多个这种会复用的服务,抽象出来,变成企业级的service。ESB上可以提供其他的服务消费者所调用。中间的ESB,实际上它也是一个平台。所以平台化的优势就是能力复用,减少摩擦。

 

所有的这种无论是你的信息技术系统还是业务系统,只要它能够抽象出来,能够被复用,则复用的这一层,那我们都可以把它理解为是中台。

 

中台是介于前台和后台之间的一个系统。那么后台实际上对我们现在来讲的话,大部分情况下指的就是企业里的SAP,后台的财务,hr系统,客户距离市场跟进的系统。

 

中台里面很重要的两个中台,一个是业务中台,一个是数据中台。业务中台是提供可复用的业务,API数据中台是提供数据洞察和智能的。

 

我们前面介绍了一下背景,从平台化到中台,我们下面进入到数据中台。

数据中台为什么这么火?

数据中台和传统的数据系统出发点不一样

这里举个例子,原来的数据平台也好,数据湖也好,数据仓库也好,它们的出发点很多时候有局限性,应该说更是一个支撑性的技术系统,即一定要去考虑我先有什么数据,然后我能干什么,这是传统的数据平台,数据湖,依赖于现有数据的质量,现有数据的状况来做的这样的一个支撑性的技术平台。

 

但是数据中台在我们现在所讲的概念里面,它更多的是从业务出发,比如说我们现在所设计的一套精益数据的方法,它就是从业务出发,一开始都不用看你系统里面有什么数据,重点的是去解决你的业务需要什么样的数据服务?

 

作为第一出发点,作为切入点。然后再来看这些业务,你需要这些数据服务,它有什么价值?至于说这些数据服务所依赖的数据有没有,那是我们的实现方式,只要这个服务有价值,那我们就去想办法去拿到数据,如果没有能力,我们去建技术能力,去完成数据服务的提供。

 

所以数据中台最重要区别于传统数据平台,技术类平台的区别在于数据中台的思维是业务思维,他从业务问题出发,这也就是为什么业务部门对数据中台会这么欢迎。

我们的目标是哪怕我的数据只有50%的准确性,那么在我提高数据质量同时,我也希望这50%准确的数据也能为我产生业务价值。

 

这句话是我们现在正在尝试的,也是用来做的。

在过去,业务部门跟技术部门同数据仓库的人提需求,数据仓库的人说不行,没有数据,数据质量不好,现在做不到,现在我们只有这些数据,然后看看在这些数据里面,你们能干点啥,这是原来的思路。

 

但是我们所讲的数据中台指的是业务需要什么,我们就用数据中台提供什么,哪怕说现在可能你连数据库都没有,但是只要业务需要这样的数据服务,我们手工的去录入构建这样的一个API也要让它实现,也要为业务产生价值。然后慢慢的我们再来完善数据服务,把它自动化。

 

所以这就是我们所讲的业务中台第一个最大的区别,一定是从业务价值出发,所以业务部门过去这么多年里,实际上对数据的需求和业务的需求从来没有发生过变化。从来没有说原来因为数据平台没有数据中台的概念,所以我提的需求少一点。业务对于数据的需求没有变化,但是它需要一种新的思维方式,一种新的技术平台,帮他去快速解决从数据到业务价值到业务服务的这个过程。所以这是第一点,数据中台是面向业务的,它不依赖于你现在数据中台的建设方法,不依赖于你现在有什么数据。

度量不同

为什么在过去我们所讲的数据治理这么火,而现在,实际上我们越来越觉得数据治理可能是一种企业级的大而全的数据治理,但这可能是个伪命题,因为它数据质量是不可能同你的真实的业务百分之百一致。但是数据的系统数据平台,数据仓库,很多时候是以你的数据质量作为度量标准的,即现在这个数据平台存储了多少数据,数据报表开发了多少张报表,这个是你的价值。但是在数据中台层面上,我们所讲的数据中台的价值度量,是它为你的业务提供了多少有价值的数据服务。至于说这个数据服务后面的数据质量可能不是那么的好,但是只要它能够给业务带来价值,这个就是好的数据服务

 

 

所以我们很快地拆解一下,从数据中台这四个字上来看,实际上它也能够快速的让我们大家理解什么是数据中台,首先是数据,数据让业务更智慧。数据中台提供数据分析,数据挖掘,将数据提供给前台,是以数据为核心,它介于前台与后台之间。

 

在某种角度上来讲,大家会问是不是也会有数据后台?

 

是的,在有的维度里面,我们把传统的数据湖作为数据后台,前台中也有数据,提供消费数据服务的就是数据前台。中台是为多个业务系统提供服务的,能够使一个系统变成一个数据服务的生态,它是不断演进的。

 

用一句话来概括数据中台,我们把数据中台理解为是企业的数据服务工厂。所谓的数据服务工厂在我看来,以后所有的企业中的本质就是加工处理数据,产生数字化世界里的产品,然后把它连接到物理世界,生产出来,销售出去。所以数据中台对企业来讲,它是数据服务的工厂。


过去那么多年,建设的系统是把业务数据化,现在我们很多的企业在后台系统建设好以后,在做的业务系统实际上是把数据业务化,而且有一点也是我们现在行业里面重点强调的,原来我们讲先有业务,后有数据,先有应用系统,后有数据系统,这个观点从今年开始要发生改变了,在业务系统还没有建立起来的时候,我们就要有数据思维,就要把数据集成到业务系统的架构里面去。

 

 

原来我们所讲的业务系统叫OLTP,即在线交易系统,然后数据类的系统叫OLAP,即在线分析性系统。

 

现在可以看到一个趋势,这个趋势就是OLTP和OLAP在融合,也就是很多企业所讲的P流一体,即为批处理和实时流数据处理一体化。原来我们的OLTP、OLAP是平行的关系,先要通过OLTP系统产生数据,然后ETL,然后抽取到OLAP里面,再把多个OLTP的系统抽在一起,之后在OLTP、OLAP的系统里面产生洞见,变成数据可视化报表给业务部门去看,再去改变你的OLTP的做法,这里的OLTP和OLAP是平行的关系。

 

我们现在提到得是OLAP和OLAP的融合,每个业务系统都会需要都会趋于具有大数据处理能力,智慧能力的交易系统,之前把它叫做在线交易系统和在线分析系统,我们现在把它叫做在线分析型交易系统,它是有跨域的,有历史的集成数据分析交易系统。

 

这样的话,原来的数据百分之七八十在企业里的应用都是数据可视化,都是BI,都是data house报表,让人看,这叫人机接口,这个是人看完数据以后,然后再去提取,之后去做你的决策,改变你的行为,去看数据。

 

从今年开始,数据中台更多强调的是机器与机器的接口,就是我的数据分析出来的结果,不仅仅以报表可视化的形式让人看,而更多的是把这些API这样的一些数据服务直接地嵌入到交易系统里面产生影响,变成你的价格策略,变成你的推荐引擎,变成你的风险管控。

 

那么我们所讲数据中台,它不仅仅是一个技术平台,它还是一个体系。

 

数据中台会对应到一个企业里的一个部门一个组织,也要有数据战略的支撑,要有数据治理,数据中台上面生长一个数据服务,数据服务提供给我们业务系统,提供给我们业务中台,然后我们所接收到的数据消费者,就都生长在数据中台之上,数据中台是一个生态,是一个平台,是一个数据服务,是生产、加工、交易、度量、运营的平台,所以我们把数据中台实际上叫做一个体系。 

这张图,我们认为未来所有的企业都是一个数据工厂,看上去现在华为在生产的是手机、电脑、电信设备,但是只要他掌握了用户的数据,B端、C端,它知道用户喜欢什么,行为模式,消费模式,它完全可以在现有的用户数据基础上开发出产品,然后至于说这个产品可能是农业的,可能是汽车的,然后它快速的把用户产品的画像连接到供应链上,让行业里帮它生产出这样的产品。所以未来的企业都会是数据工厂,都是加工生产数据的工厂。

 

这样的一个数据工厂需要什么东西,需要什么样的结构,我们可以看到它需要有数据员,就是原材料的加工,然后把原材料取过来过磅,原材料经过质检检验,进入到原材料仓库,这就是我们所讲的数据湖。然后不同的数据产品它会有不同的生产线,这就是我们所讲的data plan数据流水线,然后数据流水线生产出数据服务,这个数据模型就放到数据集市里面,它就是半成品的数据的服务。

 

生产数据的厂房会有创新实验室,专门研发新产品,会有治理数据的管理办公室,去保证工厂整个运营的效率,也有控制中心,监控中心,保证整个data pipeline、数据处理的性能,安全性和稳定性,然后最顶上是你的数据服务商店,把这个数据产品,一个一个的数据服务,一个一个的智能模型,算法模型放到这个商店里面,供数据消费者去调用和使用,所以我们把这个理解为成广义的数据中台。

数据中台对企业的价值

应用开发要快于数据开发的速度

原来我们在做一张报表,或者是在业务系统里面需要查询一个数据结果的时候,它的过程是比较麻烦的,而且它的测试往往也是比较复杂的,因为业务系统是有业务属性的,但是数据是跨业务的,是融合的。在OLAP领域中,很多这种情况,比如说我的企业,Java开发工程师很好找,做应用的人很好找,懂data,知道如何做数据建模,如何做算法的人相对来讲是比较少的。但是在我们应用开发过程当中,我们会发现有太多的数据需求,这种情况下应用开发的速度是快于数据开发的速度。

加速从数据到价值的服务产生过程

在很多时候我们会发现不同的应用开发项目组,他们都会调用同样的数据模型,同样的数据服务,但是由于不了解数据,并且他们也不知道底层的数据结构,所以他们不同的项目组可能对同样的数据处理会用不同的方法,自己做自己的,然后出来的结果不一样。有的是错误的,所以开发速度慢,并且数据结果不准确,质量低,这就是过去应用开发和数据开发所面临的矛盾。

 

但是现在数据中台就要解决这个问题,数据中台要把那些复用的数据模型,要把那些数据模型data派对中一些数据复用的能力,变成一个数据的能力平台,让那些做数据的人专注在做数据,把数据变成一个乐高积木,数据服务提供给应用开发,然后不同的应用开发项目组可以共同的去调用唯一的SARS数据服务,去保证它的数据质量和一致性,加速从数据到价值的服务产生过程,打造高响应力且更加智慧的业务。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值