三代指标平台比较

一、三代指标平台比较

1.1 指标口径登记与管理（第一代）

    第一代指标平台注重的是对指标口径的登记与管理，通过指标字典来承载企业指标口径管理与检索功能。

  在这一阶段，业务部门首先提出指标口径的需求，随后，ETL工程师与业务人员就指标业务口径进行详细的沟通确认，再由ETL工程师将业务口径转化为具体的SQL任务，在数仓中进行开发。开发完成后，处理好的数据通过表的形式输出，指标业务口径被登记在指标字典中。

    这个过程涉及多个部门和人员，指标口径需要反复沟通确认，开发效率低；同时指标开发与指标口径登记在不同的工具中完成，指标管理要通过制度和流程来强制落实，不能确保指标口径100%登记落实。

1.2 依赖ETL开发的指标平台（第二代）

   尽管有了指标字典，但指标管理与指标消费仍然割裂，企业内指标口径不统一、开发效率低下和指标难以复用的问题仍然突出，因此在国外出现了Headless BI的理念，主张“无头BI”，即将指标语义层与BI工具进行解耦，通过独立的指标平台统一指标定义，面向BI工具和多种下游应用交付统一的指标，已实现指标口径的统一与多消费场景复用。

    国内也开始出现了独立的指标平台厂商，希望能够实现指标的统一管理与统一消费。但客户实践下来，发现指标平台因为定义能力有限和查询加速问题，导致在真实的业务场景中，仍然有60%以上的指标需要ETL工程师在数仓侧开发SQL进行宽表和汇总表开发来实现，指标计算逻辑依然落在数仓的宽表和汇总表中，指标管理与指标研发依然是分离的，指标口径不一致和开发效率低的问题依然存在，指标平台的价值主张无法兑现的。

     究其原因在于真正实现“一处定义，处处使用”，其前提是指标平台能够实现任意复杂指标的定义与自动物化加速，指标只有可定义，才能够让所有的指标生产不会回到数仓开发逻辑中，才能实现指标口径的100%一致，规避“同名不同义”、“同义不同名”等问题

1.3 NoETL 的自动化指标平台（第三代）

    第三代指标平台基于明细语义数据模型定义指标，对比第二代指标平台，通过强大的指标定义能力与自动物化加速能力实现任意指标可配置化定义，可自动化开发、可开放化应用，真正交付指标平台的价值主张——管研用（指标管理、指标研发与指标应用）的一体化，彻底杜绝指标定义的分散化，由系统代持指标应用层的ETL开发作业，实现指标分析的敏捷性和指标应用层的ETL开发作业，实现指标分析的敏捷性和指标口径的一致性兼顾。

                     图 1：基于明细语义数据模型定义指标，系统代持数仓应用层 ETL

       其中，定义能力是管研用一体化的基础，指标只有可被定义，才能实现可统一管理。指标平台的定义能力必须强大，任意复杂指标都可以实现配置化定义，而不会绕过指标平台，让 IT写SQL在数仓中加工。在强大的指标定义能力基础上，还需要提供“定义即开发”的能力，系统自动化实现“反范式的宽表/汇总表”加工，指标应用层实现NoETL，系统自动实现物化链路编排和查询加速，确保指标口径的一致性和保障大数据量下的查询体验。

                          图 2：三代指标平台简明对比

二、NoETL 的自动化指标平台

   从指标定义、指标加工、指标服务、指标管理和指标分析五个方面进行介绍。

2.1 指标定义

    第二代指标平台最突出的问题是无法实现任意指标的定义。这些平台通常只支持单一数据表来定义指标，需要 IT 提前将定义所需维度加工到同一张宽表中 。此外，第二代指标平台仅支持基本的聚合操作（sum、count、avg 等）和有限的衍生（如同环比），在表达复杂业务逻辑时显得力不从心。不能被定义，则不能被真正管理，大量指标还要回到数仓开发模式的老路。

   第三代指标平台，表现出更为强大的指标定义能力。它直接基于明细数据，利用多表关联的语义模型来定义指标，意味着用户可以跨多个表定义指标。同时第三代平台还提供强大的指标定义函数（如窗口函数、预聚合分析函数），支持复杂指标的配置化定义（例如，近 1 年月日均 AUM 最大值、北向资金净买入额行业应有个股总数）。

2.2 指标开发

   由于指标定义能力的不足，第二代指标平台难以避免大量指标要回到数仓，由 ETL 工程师在数仓中进行建模，开发出所需的宽表和汇总表。而少量可以定义和自动化开发的指标，又仅支持有限的衍生方式，如同环比等基本的数据比较分析。

   第三代指标平台则提倡基于公共层或集市层的明细表来定义指标，在此基础上还支持更为复杂的衍生方式，包括同环比、均值/最值、排名、占比、累加等，所有反范式的 ETL 开发过程均由指标平台通过自动生产和自动物化加速代持，确保大数据量下的查询体验。这样的设计，不仅减少了对 ETL 工程师的依赖，还大大提高了指标加工的灵活性和深度，支持用户能够根据业务需求进行任意维度、任意粒度的数据洞察。

2.3 指标服务

     第二代指标平台提供的 API 接口通常较为简单，通常一个接口只支持查询一个指标，且参数选项有限。这种设计在灵活性方面存在明显不足，当用户在分析工具中需要同时进行多个指标多维度的组合分析时，会受到诸多限制，无法满足复杂的业务需求。

     相较于第二代平台，第三代指标平台提供的 API 接口支持更加灵活的参数配置，允许用户在单个接口中查询多个指标，并且可以包含多个共同维度。这种设计极大地提升了用户在进行数据分析时的灵活性和便捷性，实现“一个指标、多场景消费”，使得用户能够根据不同的业务场景快速获取所需的数据，从而更有效地支持决策制定过程。

2.4 指标管理

    第二代指标平台因定义能力和自动化开发能力有限，指标管理面临若干挑战。其中包括对于数据仓库的高依赖性，同一个指标不同分析粒度，需要在数据仓库中构建多张宽表或汇总表以支撑不同维粒度的指标分析，导致指标口径的一致性难以保证、指标运维成本高、资源的重复消耗与浪费。

  第三代指标平台支持用户对同一指标的不同维度只需进行一次性定义，便可以在下游所有应用中复用，确保了高度一致性和准确性，同时100% 规避指标口径的二义性。第三代指标平台提供统一的指标目录，实现指标口径的统一沉淀，使用户能够在其中快速查找和消费他们需要的指标；还提供字段级的指标血缘和指标的多版本，实现指标加工的全链路监控及保存指标历史变更记录。

2.5 指标分析

    在第二代指标平台中，由于仍然依赖人工开发的宽表与汇总表定义指标，指标分析仅限于预先选定的有限维度，组合分析或深入的下钻分析支撑能力相对有限。

    与此相反，第三代指标平台在指标分析方面提供了更为强大的功能。它允许用户进行任意维度的分析，只要数据集之间存在关联关系。这种设计极大地扩展了用户在进行指标组合分析或下钻分析时的灵活性和自由度，从而得出更全面的业务洞察。

参考文章：

指标平台详解（下）：第三代指标平台实现了哪些突破？