作者 | 王雨晨
编辑 | 刘纪呈
排版 | 阿 绿
转载授权请联系(微信ID:looophe)
窥见宜信数据中台
这个是宜信数据中台的整体设计(除了组织架构的部分),左边是数据资产的维度,右边是数据平台的维度。我们主要看一下数据平台的维度:
数据平台的维度我们做了几个事情:
1、数据集中整合入湖:通过数据枢纽(Data Hub)管理公司所有数据的东西,它管理有所数据的汇入和输出,即提供所有的数据服务,不管你是接入到中台还是从中台去读数,都在这里记载。同时很多数据是虚拟的,仅仅是一个view,而不占用实际的存储空间。因为一个企业的数据量会异常庞大,我们要落地的只有那些必须的、常用的数据,这是出于成本的考量。
2、建立一战式数据加工中心:数据工坊(DataWorks)是数据加工的IDE,与之相关的是数据模型(Data Star)、数据标签(Data Tag)和一些AI的工具(AIKit)。本质上是辅助大家去处理数据,跟一般的数据平台一样。但是整合为了统一的平台,也就意味着用户不再需要跨平台、跨集群去导数,可以在一个地方从申请权限到输出最终二维表更加专注于解决问题,减少浪费在其他周边事务的精力。DataStar是数据建模工具,用于创建星型模型和雪花模型,通过拖拉拽的方式生成ETL下推到DataWork执行,降低数据工作者的门槛,让业务同事能够自己玩转大数据,不必等待漫长的排期。同时记录下模型的版本和实体关联关系,更好地提供数据服务。
3、赋能对业务和管理者 : 右侧两大块主要是一些管理相关的服务。 中台管理(ADXMgt)提供了基础的管理能力,如审批流、鉴权、调度等。 数据管理(DataMgt)是我要重点强调的部分,它用于管理公司所有的元数据。 为什么要管这个东西? 目的是让业务去理解公司的数据,理解数据之间是怎么去贯通,怎么用数据联合起来去看跟它相关的、周遭的一些具有强关联性的问题,我们是需要这个东西的。 元数据帮助业务去理解数据是什么,去快速地找到它需要的数据。 用户在这里去检索到公司所有的数据,快速找到自己需要的信息以便开展工作。在阿里也是同样的思路,他们有一个产品叫数据地图,大家有任何数据相关的疑问只要到数据地图上去检索,就能检索得到我需要的表,或者需要的指标,计算方法、来源所有涉及方面到数据地图上都可以查到,而且有几百人的队伍专门去负责这些表和指标的生产加工,这是阿里的做法,效果非常好,极大降低了冗余建设和企业内部的沟通成本。而且阿里是有一大波的数据分析师去维护这个数据地图的内容,以一个众包的方式告诉大家这个表、指标、字段数据分析师用它们如何进行分析,让其他同事更加明晰、也让数据的生产者(数据工程师们)得到自己用户的反馈进而优化生产加工。
所以我认为数据管理(DataMgt)是非常重要的一部分,它更好的为前台提供信息,支持公司的业务数据需求。在管理层面上提供能够提供一份公司级的报告。对于表、字段使用情况的分析,应用层面如资产地图、血缘和热度分析、安全审计等等。
作为一个产品经理的个人感受是中台虽然披着平台的外衣,但是它比平台还要难做,因为提升企业所有人的工作效率是我做这个产品所要思考的第一件事,而不是说怎么样让这个工具能用、让它符合逻辑。这些不是第一件考虑的事情,不仅要懂业务了,还要懂公司,关注点发生了变化,所以我说中台很难做,而且每个公司都会做出不一样的中台。
上图是数据中台的组织架构,主要是通过调研,要针对以下的四个痛点,其实都是老生常谈的问题了:
第一点:业务方跟自己的数据产生了割裂。他不知道敏感的数据去哪拿,别人攥得死死的,可是他不知道在哪,可能研发知道,他自己不知道。
第二点:数据服务不够智能,梳理不清楚血缘、热度和权限。
第三点:数据资产没有梳理过,大家不知道。因为业务单肯定更多的看报表,看指标,然后自己的资产在哪,怎么把这些资产整合起来,他是从来没有考虑过的问题。
第四点:数据应用开发周期长,改动繁琐。
在调研完之后,我们就想数据中台要服务哪些人?提高哪些人的效率?最后我们确定了这八类人:
放在第一位的应该是业务:
宜信的特点是业务线非常多,很多业务线做着相同的动作,做着相似的业务,这是第一点。第二点是研发团队特别多。第三点,数据需求特别多,大家有报表、可视化,有需要推送服务的。数据需求多变,有很多探索性的日抛项目,这一点挺有意思的。
大家可能在一段时间做一个什么活动,然后就会在这段时间有这个数据需求,它就是一个周抛项目,其实这个没有人管,最终也没有落成资产,也没有形成固定的什么东西,就被抛弃了,这块其实挺可惜的。如果能把类似的需求抽象出来,然后落成一个工具还是非常好的。
上文讲了数据中台的平台部分,简单带过了资产部分,下面是组织架构部分:
这个是我们为了中台所优化的组织架构,首先我们把公司所有的团队放到一起了,成立一个数据中台部门。上面的卢山巍是我老板,非常厉害的一位数据架构师,大家有兴趣可以去搜一下他的访谈和文章。
比较特殊的是我们这个部门有一个叫解决方案组,这是非常特殊的,在很多公司是见不到的。这个部门是什么职能呢?试想一下:你前台有那么多问题你找谁呢?好像你不知道找谁,那没关系都找他,数据相关的问题全都找他就好了,这样的沟通效率我们认为是最高的,就是完全扁平化,没有中间商赚差价,所有的数据需求直接对接到数据中台的解决方案组。用最低的成本拿到解决方案、实施,开展和业务。这是我认为非常好的一个设计。
如果有熟悉HR三支柱的同学知道:HRCOE制定策略和领导实施、HRBP用人力知识服务部门、HRSSC对人力事务进行集中化管理。这个解决方案组就有点像BP的性质:①收集业务需求,提供适宜的解决方案;②参与公司级的数据管理事务;③逐步建立数据资产管理制度,驱动和支持组织变革。
方法论与实现手段由以上的实践,我们总结出了中台设计的方法论。实现手段其实很简单,就是制订标准和规范。
最开始我们要做中台肯定要解决我们刚才说的很多问题,都是企业经营的一些问题,企业经营问题首先我们应该知道企业的业务都是什么,企业业务的全线图是什么样子的,现在有多少部门在干这样的事情,支持他们的数据团队有哪些,我们是否有可能把这些部门拉通或者整合,也就是组织结构优化,这是第一个事情,我们把业务清单拿出来。
第二个事情是能力设计,这个其实非常考验人的抽象能力,这个企业需要什么能力,这也是根据每个公司的特点不同的。比如说像电商,它需要的能力可能就是比如说推荐商品,这是一个能力,然后它的物流规划可能是一个能力,实时响应可能是一个能力,这些业务具有核心支撑作用的能力。
数据中台就是给业务提供的数据服务。业务说我要这个数据或者说我要基于这个数据得到一个什么结论,他需要的其实就是一个数据服务,不管它的形式是一个报表,是一个报告也好,是一个数值也好,他其实需要的就是数据服务。所以首先第一个原则就是业务价值优先,数据服务优先,数据平台随后。
大家在公司肯定有一个场景,业务方把数据下载下来,然后用EXCLE去处理数据,最终形成一个什么结果,这个EXCLE就是一种数据服务,那你数据平台能支持EXCLE吗?不一定。对于业务来说数据服务是比数据平台更重要的,可能很多做平台的小伙伴会觉得这个不对,平台很重要,我也是做平台的,但是说实话数据服务是比平台更重要的,如果没有业务满意的数据服务,那么数据平台也就没有任何存在的价值。提供优质数据服务的前提我认为有两项:第一是数据资产管理,第二是数据开放共享。数据开放共享什么意思?我司有这些数据,大家可以用这些数据去解决问题,首先我要让所有的业务方能够找到自己所需要的数据,就是开放共享。
数据中台怎么落地呢?如果大家看一些材料,就会发现数据中台跟数据资产是强绑定的。什么叫数据资产?首先元数据是数据资产,标签是数据资产,数据仓库、数据集市是数据资产,报表、指标是数据资产,我认为这些基本上已经相对比较全了,当然还有其他的。
基于数据做场景创新,这个和中台有什么关系呢?有点关系,关系也不大,场景创新主要是业务或者是其他部门去场景创新,更多的业务创新是前台想到的,他可能会说我跟中台去沟通一下,然后成为一个场景创新,而不是说中台里面有这么一堆数据,然后我们说你们这个业务做的不对,然后你应该去做一些什么什么样的事情,这是不对的。我们可能给他提供的只是一个建议,或者结论,相当于是一个咨询公司这种感觉。
作为产品经理,以下是做中台类产品的感受:
我把B端产品分为四个类别。第一类是业务类,比如说销售、运营、客服系统。第二类基建类,比如说审批中心、访客系统、网络准入,这属于基建,比如说集群优化、安全防护,这是技术类的,这个产品经理其实帮不了太大的忙了。
最后是中台类产品,中台的产品有很多,比如说数据中台,就是把数据的能力落成一个中台,运营中台是把一些运营的能力落成中台。
企业大数据能力建设一个企业数据能力建设其实很简单,首先要具备数据意识知道可以用数据解决问题了,然后业务数据化有数可用,接着数据场景化先能够解决单个条线的核心问题,慢慢地数据业务化提供优质的数据服务,越用越好,越来越高效,最终数据平民化让人人都能接触到数据和用数据。
数据场景化是什么?
数据场景化很简单,很多公司已经实现了,比如说购买,这是一个场景,复购这是一个场景,从接触到转化它也是一个场景。对于不同的部门来说他们管不同的阶段,管不同的指标,他们会形成自己的这些场景,然后有自己想要的数据,这是很简单的一个阶段。
从数据的场景化到业务化,这是什么?这个其实是很多公司看得到却做不好的一个阶段,为什么这么说呢?因为在业务的视角里边,它只能看到自己的这一块的东西。于是我们在系统里面去为他们实现,最终做出了一个一个完美的系统,但是当业务整合或需要系统整合的时候就非常复杂了。每个系统只想解决自己的这一套问题,但是他解决自己问题的时候,可能会涉及到他周围很多很多业务的问题,跟他的KPI没有关系的,他不会去关心这些事情,这是第一点。第二点,在最前面提到对于公司来说业务的属性是分,越来越精细,不同的人干不同的事情,还干得越来越好,这就是业务。而数据的属性其实是合,解决复杂业务问题一定是要把所有的数据拿到一起去看待一个问题,我会想从一个商品见到我的仓库,到上架,然后到出仓,然后到配送,最终到用户手里,可能甚至还有退换货、客诉等等,这样的场景。这是数据的属性,把所有数据合到一起它才能够解决企业所面临的整条线的问题。把你公司所有的数据融通,放到一起,当有一天CEO想知道为什么最近的客诉变高了?那可能这不是一个客服部门能解决的问题,他可能是从进货,从出货,甚至从配送这么多角度都会产生的一个问题,我只有把所有数据合起来才能够去解释,才能够看清楚这个问题,究竟它的成因是什么,这是数据业务化。
数据平民化是什么?
数据平民化我想说的是,既然我们有所有的数据了,你怎么让一般的业务同学拿到这些数据去能够解决相对更复杂的问题?这就是我们在这个阶段要思考的问题,怎么让他们拿着我们已经有的这些完整的所谓链路上的数据去解决这个问题,在这个阶段其实我也在探索中,这个还是很难的。
举宜信的例子来说明一下:
宜信是一个P2P公司,它的获客渠道有很多,比如说网络曝光、电话销售、面对不同群体App,还有线下门店……
怎么进行业务创新呢?会不会说有一个客户在线下门店他没有得到很好的服务,然后他转去投App?或者他在线下门店没有获得这个服务呢?能不能通过电话的方式把他挽回等等这样的问题,这个时候我们就无奈,只能把一个人所有的数据拿出来,然后把这一个人去识别清楚这个人在我们公司的所有的路径,然后去整条拉出来看这个时间的影响,这是一件非常恶心的事情,因为之前在宜信所有数据都是隔开的,所有部门的数据都是隔开的,也就是我之前提到的业务墙、数据墙,这是很难做的一件事情。
这个工具如果按照行业的说法应该叫洞察,他提供给业务一个什么视角?这个客户来了,来了之后他都干了什么?他不光是在我这一块业务干了什么,他在我们公司或者说我相关的所有的地方都干了什么,帮助他更好的去理解在整条链路上面的用户的行为,相对于他来说这就是一个很平民化的东西了,他能够去理解,去消化这些信息,然后结合他自己的业务特点去做出新的策略。
中台对企业的意义很多人纠结自己做的是不是中台,其实没必要。中台的核心就是要提高企业的效率,提高企业的竞争力,让企业能够快速适应瞬息万变的商业市场。那么衡量一个企业的效率或者竞争力是什么呢?其实只有三点,就是利润率、周转率还有成长性,这三个最大的指标。
那企业内部的是什么呢?企业内部的全是成本,人、文化建设、风险控制、跨部门协作这些都是成本,我们如何去卡掉这些成本?那是所有企业都要面对的问题。
当企业越来越大、越来越大的时候,我们如何去响应市场的快速发展?也就是我刚才前面提的例子,我们可能解决不了这件事情了,我们如何使用最低的成本进行探索?现在一个大公司想干一个事情先立项,立项完了然后拉通各方,这个周期非常长,这不是一个很好的可以适应迅速变化的方式。
这张图是一个城市,我们看到它跟一个大企业是非常相似的,它哪哪都通,也有很多很高大的大厦,相当于业务,它四通八达的,但是我们想从一个地方到另一个地方可能是非常费劲的这么一个状态。
很多的管理学理论都是借鉴物理的,很多社会科学也都是。那么组织的不断扩张也就是企业不断变大的过程,它不断吸收个体,但是它也希望效率保持相同,其实实现这样的一个策略很简单,就是让企业变得扁平,然后让效率变得更高,降低沟通成本,比如说人的重复性,比如说部门的重复性,去做这些事情。大家如果对这个管理学相关有兴趣,最近华为大学出了一本书,叫《熵减》。
我刚才说了这么多其实就是希望大家能意识到中台不是一个什么特别新的技术概念,它只是一个我们看待一个企业发展的观点,一个角度。中台对于企业来说意味着什么呢?我们为了解决企业的很多问题,所以要去做动态的策略,比如说怎么适应快速变化的业务环境,也就是周围的环境,那怎么快速支持业务的创新和失措?这就是我们要考虑的问题。提升企业内部的沟通效率,怎么降低企业的运营成本,这些是我们考虑的问题。最终就会沉淀出能力,提高企业的竞争力,这就是中台对于企业来说的意义。
擅长数据可视化、机器学习(NLP)、大数据平台建设等,为金融、交通领域多家企业落地数据智能项目,提供完整解决方案。专注于企业从BI到DI转型,致力于数据业务化、数据平民化。近期在推动数据洞察和数据治理产品化。
擅长数据可视化、机器学习(NLP)、大数据平台建设等,为金融、交通领域多家企业落地数据智能项目,提供完整解决方案。专注于企业从BI到DI转型,致力于数据业务化、数据平民化。近期在推动数据洞察和数据治理产品化。
![aac93c1a40e6fc7d16850d8da4d49ded.png](https://i-blog.csdnimg.cn/blog_migrate/afd2e42876c44276794502ddba5a2a0a.jpeg)
![a0815b2603a2c93a8e5daedf7309d2aa.png](https://i-blog.csdnimg.cn/blog_migrate/6e5e111b744cbdb673a1b72f9ebbf4ac.png)