《数据中台实战课》原理篇-学习笔记

目录

1、为什么说数据中台是大数据的下一站？

2、到底什么样的企业应该建数据中台？

2.1 建设中台前，我们面临的挑战（数据中台解决的问题）

2.2 为什么数据中台可以解决这些问题（问题背后的原因）

2.3 数据中台如何解决这些问题的？

2.4 什么样企业适合建设数据中台？

3、数据中台建设三板斧：方法论、组织和技术

---

1、为什么说数据中台是大数据的下一站？

2、到底什么样的企业应该建数据中台？

2.1 建设中台前，我们面临的挑战（数据中台解决的问题）

• 指标口径不一致。指标口径不一致包括：业务口径不一致、计算逻辑不一致、数据来源不一致。例如： 两个数据产品一个包含税，一个不包含税，它们相同的一个指标名称都是销售额，结果却不一样。运营面对这些指标的时候，不知道指标的业务口径，很难去使用这些数据。

• 数据重复建设，需求响应时间长。随着需求的增长，运营和分析师不断抱怨需求的交付时间拉长，面对快速变化的业务，需求响应时间已经无法满足业务对数据的敏捷研发要求。

• 取数效率低。 面对数十万张表，我们的运营和分析师找数据、准确地理解数据非常困难，想找到一个想要的数据，确认这个数据和自己的需求匹配，他们往往需要花费三天以上的时间，对新人来说，这个时间会更长。

• 数据质量差。数据经常因为 BUG 导致计算结果错误，最终导致错误的商业决策。例如：分享一个我们踩过的坑，在大促期间，某类商品搜索转化率增长，于是我们给这个商品分配了更大的流量，可转化率增长的原因是数据计算错误，所以这部分流量也就浪费了，如果分配给其他的商品的话，可以多赚 200W 的营收。

• 数据成本线性增长。数据成本随着需求的增长而线性增长，2017 年的时候，我们一个业务的大数据资源在 4000Core，但是 2018 就已经到达 9000Core 水平，如果折算成钱的话，已经多了 500 多万的机器成本。

2.2 为什么数据中台可以解决这些问题（问题背后的原因）

• 缺少全局统一指标管理

• 烟囱式的开发导致数据重复建设

• 找不到数据，SQL有不适合非技术人员

• 数据加工链路长，出现问题很难及时发现

• 数据重复建设，无用的数据加工也消耗了大量的资源

2.3 数据中台如何解决这些问题的？

• 确保全局指标业务口径，数据来源，计算逻辑一致。

• 相同聚合力度的度量，指标只加工一次，避免重复建设。

• 构建企业数据资产目录，提供非技术人员取数工具。

• 全链路稽查监控，早发现，早处理，早恢复。

• 计算每个应用，报表，指标的ROI，避免低价值的数据加工。

2.4 什么样企业适合建设数据中台？

    不可否认，数据中台的构建需要非常大的投入：一方面数据中台的建设离不开系统支撑，研发系统需要投入大量的人力，而这些系统是否能够匹配中台建设的需求，还需要持续打磨。另外一方面，面对大量的数据需求，要花费额外的人力去做数据模型的重构，也需要下定决心。

    所以数据中台的建设，需要结合企业的现状，根据需要进行选择。我认为企业在选择数据中台的时候，应该考虑这样几个因素。

• 企业是否有大量的数据应用场景： 数据中台本身并不能直接产生业务价值，数据中台的本质是支撑快速地孵化数据应用。所以当你的企业有较多数据应用的场景时，一般最少需要有3个以上的数据应用场景。

• 存在业务数据孤岛：经过了快速的信息化建设，企业存在较多的业务数据的孤岛，需要整合各个业务系统的数据，进行关联的分析，此时，你需要构建一个数据中台。

• 面临效率、质量、和成本的问题：当你的团队正在面临效率、质量和成本的苦恼时，面对大量的开发，却不知道如何提高效能，数据经常出问题而束手无策，老板还要求你控制数据的成本，这个时候，数据中台可以帮助你。

• 需要借助数据提高企业经营效率：当你所在的企业面临经营困难，或者企业有数据化转型，精细化经营的需求，提高企业的运营效率的时候，你需要构建一个数据中台，同时结合可视化的 BI 数据产品，实现数据从应用到中台的完整构建，在我的接触中，这种类型往往出现在传统企业或者产业互联网企业中。

• 业务相对稳定有一定规模的公司：企业规模也是必须要考虑的一个因素，数据中台因为投入大，收益偏长线，所以更适合业务相对稳定的大公司，并不适合初创型的小公司。

3、数据中台建设三板斧：方法论、组织和技术