数据中台的技术架构和方法论

来源网络，旨在交流学习，如有侵权，联系速删， 更多参考公众号：优享智库

数据中台的核心职责是高效地赋能数据前台为业务提供价值。要想理解数据中台先要理解数据前台，上文说到的搜索、推荐、BI 报表、数据大屏等都属于数据前台。我们来看下面网易严选数据体系的图就更清楚数据中台的定位了。

数据中台的下层是数据平台，数据平台主要解决跟业务无关的问题，主要是大数据的存储和计算问题。数据中台的上层就是数据前台，主要包括 BI 报表、数据产品和业务系统。数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。如下图所示，基于数仓里已经半加工好的数据，分析师使用严选有数敏捷 BI 平台可以快速的根据业务需求进行数据可视化和数据分析。严选有数现在每周的 UV 超过 800，每天报表浏览次数超过 12w，目前的图标数超过 7W。对于一个事业部级的 BI 平台，应该算是一个非常好的成绩。这里特别感谢下我们的分析师团队，她们的辛勤工作才会有这样的成绩。

数据中台还会赋能业务系统开发通过统一查询服务 (主要是统一查询服务和标签服务) 来辅助业务过程中的决策。基于数仓里面加工好的数据模型，业务系统开发人员使用统一查询服务获取到的模型数据在业务系统中增加辅助决策功能。比如供应商系统需要对供应商进行评级，供应商评级需要供应商的商品销售数据、评论数据、退货数据、质量数据，供应商采购的交期数据等等。数仓会根据这些数据加工模型，供应商系统可以通过统一查询获取模型在供应商系统中使用。在严选，统一查询服务已经接入了 67 个应用、670 个模型、每天有 300w 的调用。

我们自己做的数据产品（如下图所示），基本会用到我们数据中台所有的能力支持，包括统一查询服务、标签服务、指标监控服务、数据产出服务等数据服务，也会使用严选有数创建 BI 报表挂载到数据产品中。

数据中台包含什么？

从上文的图中，我们已经初步了解了数据中台包含了哪些系统和服务。概括来说，数据中台包含数仓体系、数据服务集和 BI 平台。

数仓体系

数仓体系是数据中台的核心，数据是新能源，是生产资料。数仓体系包含数仓和一系列的管理系统，用来管理数据，保证数据的完整、一致和准确。数仓体系的构成和关系，如下图所示。数仓是数仓体系的核心，也是整个中台的核心。数仓的开发和存储，主要依赖网易猛犸数据平台 (希望详细了解的，可以搜索网易猛犸)。

数仓开发本身要解决的核心问题是质量和效率 (所有开发也都需要解决)，无论是质量和效率都需要好的架构设计。北斗 - 数仓设计管理系统就是来完成数仓设计。数仓的开发原本总是非常的经验化，很多知识都是存在数据开发的脑子里。我们通过北斗 - 数仓设计管理系统来推行数仓先设计再开发，通过北斗 - 数仓设计管理系统将数仓开发的经验知识化、标准化、工具化。数据质量中心 (如下图所示) 提供全链路的数据保障体系，提供任务监控、数据监控、应用监控、影响范围评估和恢复的支撑。

数据服务集

数据服务主要是数据场景下的解决方案的沉淀。数据服务集极大的加速了数据应用开发效率。核心的数据服务是统一查询服务和标签服务，提供指标模型和标签模型对数据应用系统 (业务系统和数据产品) 的统一配送。统一查询服务核心提供表转接口和数据网关的功能。数仓管理的是数据模型表，通过统一查询，数据应用系统就可以通过接口的形式来访问数据模型表。统一查询服务是数据体系和数据应用系统之间的总网关，需要提供模型级限流、熔断等网关功能。

BI 平台

BI 平台我们用的是严选有数，也就是在网易有数在严选的版本。网易有数是一款敏捷 BI 平台，在设计上通过以终为始的设计理念和类 PPT 操作模式，在保障灵活性的基础上，提供了极大的操作便利。想进一步了解的，可以搜索网易有数。

在性能方面，我们结合数据产出服务做的基于数据产出的缓存策略极大地提升了报表的性能。图表首访缓存命中率基本稳定在 100%，整体缓存命中率超过 80%。

数据中台的内容非常长，本文非常概括的从严选实践介绍了数据中台。总结一下：当企业需要数据化转型、精细化运营，进而产生大规模数据应用需求的时候，就需要建设数据中台。数据中台是高质量、高效赋能数据前台的一系列数据系统和数据服务的组合。数据中台包含数仓体系、数据服务集和 BI 平台。