目录
1、为什么说数据中台是大数据的下一站?
2、到底什么样的企业应该建数据中台?
2.1 建设中台前,我们面临的挑战(数据中台解决的问题)
-
指标口径不一致。指标口径不一致包括:业务口径不一致、计算逻辑不一致、数据来源不一致。例如: 两个数据产品一个包含税,一个不包含税,它们相同的一个指标名称都是销售额,结果却不一样。运营面对这些指标的时候,不知道指标的业务口径,很难去使用这些数据。
-
数据重复建设,需求响应时间长。随着需求的增长,运营和分析师不断抱怨需求的交付时间拉长,面对快速变化的业务,需求响应时间已经无法满足业务对数据的敏捷研发要求。
-
取数效率低。 面对数十万张表,我们的运营和分析师找数据、准确地理解数据非常困难,想找到一个想要的数据,确认这个数据和自己的需求匹配,他们往往需要花费三天以上的时间,对新人来说,这个时间会更长。
-
数据质量差。数据经常因为 BUG 导致计算结果错误,最终导致错误的商业决策。例如:分享一个我们踩过的坑,在大促期间,某类商品搜索转化率增长,于是我们给这个商品分配了更大的流量,可转化率增长的原因是数据计算错误,所以这部分流量也就浪费了,如果分配给其他的商品的话,可以多赚 200W 的营收。
-
数据成本线性增长。数据成本随着需求的增长而线性增长,2017 年的时候,我们一个业务的大数据资源在 4000Core,但是 2018 就已经到达 9000Core 水平,如果折算成钱的话,已经多了 500 多万的机器成本。
2.2 为什么数据中台可以解决这些问题(问题背后的原因)
-
缺少全局统一指标管理
-
烟囱式的开发导致数据重复建设
-
找不到数据,SQL有不适合非技术人员
-
数据加工链路长,出现问题很难及时发现
-
数据重复建设,无用的数据加工也消耗了大量的资源
2.3 数据中台如何解决这些问题的?
-
确保全局指标业务口径,数据来源,计算逻辑一致。
-
相同聚合力度的度量,指标只加工一次,避免重复建设。
-
构建企业数据资产目录,提供非技术人员取数工具。
-
全链路稽查监控,早发现,早处理,早恢复。
-
计算每个应用,报表,指标的ROI,避免低价值的数据加工。
2.4 什么样企业适合建设数据中台?
不可否认,数据中台的构建需要非常大的投入:一方面数据中台的建设离不开系统支撑,研发系统需要投入大量的人力,而这些系统是否能够匹配中台建设的需求,还需要持续打磨。另外一方面,面对大量的数据需求,要花费额外的人力去做数据模型的重构,也需要下定决心。
所以数据中台的建设,需要结合企业的现状,根据需要进行选择。我认为企业在选择数据中台的时候,应该考虑这样几个因素。
-
企业是否有大量的数据应用场景: 数据中台本身并不能直接产生业务价值,数据中台的本质是支撑快速地孵化数据应用。所以当你的企业有较多数据应用的场景时,一般最少需要有3个以上的数据应用场景。
-
存在业务数据孤岛:经过了快速的信息化建设,企业存在较多的业务数据的孤岛,需要整合各个业务系统的数据,进行关联的分析,此时,你需要构建一个数据中台。
-
面临效率、质量、和成本的问题:当你的团队正在面临效率、质量和成本的苦恼时,面对大量的开发,却不知道如何提高效能,数据经常出问题而束手无策,老板还要求你控制数据的成本,这个时候,数据中台可以帮助你。
-
需要借助数据提高企业经营效率:当你所在的企业面临经营困难,或者企业有数据化转型,精细化经营的需求,提高企业的运营效率的时候,你需要构建一个数据中台,同时结合可视化的 BI 数据产品,实现数据从应用到中台的完整构建,在我的接触中,这种类型往往出现在传统企业或者产业互联网企业中。
-
业务相对稳定有一定规模的公司:企业规模也是必须要考虑的一个因素,数据中台因为投入大,收益偏长线,所以更适合业务相对稳定的大公司,并不适合初创型的小公司。