产品发布｜Aloudata CAN 自动化指标平台

最新推荐文章于 2024-10-25 13:49:55 发布

Aloudata

最新推荐文章于 2024-10-25 13:49:55 发布

阅读量1.1k

点赞数 21

文章标签：自动化运维

本文链接：https://blog.csdn.net/Aloudata/article/details/135776590

版权

指标是对业务过程和结果的度量，正如德鲁克所说，“如果无法度量就无法管理”。

指标管理痛点爆发，管、研、用一体方案备受青睐

指标最开始被应用于企业的数字化管理场景当中，如管理驾驶舱、监管报送、绩效考核、财务分析等场景，这类场景指标口径相对较固定，数量较少。随着企业数字化转型的升级，指标被应用于数智化运营场景中的情况越来越多，如营销活动、产品优化，以及最近火热的 AI 大模型，这类场景业务对于指标的灵活性要求越来越高，指标的数量也会成倍地增加。

随着 BI 等分析工具被广泛使用，企业在指标管理方面面临着新的挑战，主要有五大痛点：

口径乱：为了快速响应业务需求，ETL 工程师或分析师可能会在 BI 工具或业务系统中开发许多指标，指标分散在不同的报表和数据集里，导致指标口径不一致的问题突出。
响应慢：ETL 工程师为满足业务需求，要开发大量的宽表和汇总表来交付指标。从需求提出到口径沟通、排期等待、开发、测试、回刷、上线等，需经历漫长的 ETL 链路，使得整个指标交付效率极低。
成本高昂：传统 ETL 通过宽表和汇总表交付指标的模式，导致了大量指标的重复开发，造成企业在存储和计算上的巨大浪费。
不灵活：由于宽表和汇总表的交付模式，指标的维度相对固定，无法满足业务灵活分析的需求。
排查难：业务部门常对 IT 人员提出为何两个报表数据不一致的疑问。IT 需要耗费大量时间去排查两个指标加工口径的差异，这个过程费时费力，同时也降低了业务对指标的信任度。

这些痛点凸显了企业在数智化运营过程中指标管理和指标加工的挑战，也突出了改进这一工作的迫切需求，越来越多的企业开始自建指标平台或者采买第三方指标平台。对于数据驱动型企业的运营和管理来说，一个集自动化数据生产、业务化数据语言、智能化数据分析的指标管理方案至关重要，目前有三种典型的解决方案：

敏捷 BI 解决方案——管、研、用完全分离
这种方案的核心思想是在数据仓库进行公共层和集市层的数据加工，以响应业务需求。ETL 工程师或分析师在 BI 工具中引入数据仓库的表，创建私有数据集。如果数据仓库加工的表字段无法满足业务需求，分析师会在 BI 工具中定义大量维度和度量。这种模式虽然部分解决了响应速度慢的问题，但由于不同的指标分散在不同的数据集中，导致指标口径仍然不一致，管理混乱，且指标无法在不同的 BI 工具间复用。
指标管理平台方案——管、用一体，管、研分离
这个方案的核心是通过平台实现指标口径的统一管理和登记。尽管实现了指标的统一登记，但大量的指标开发仍需回归到传统数据仓库进行加工，导致指标定义和开发割裂。这种方式仍然无法解决指标响应慢、不灵活和口径混乱的问题。尤其是当业务指标口径发生调整时，因为业务逻辑和物理实现的割裂，数仓内的物理表可能只有部分表口径调整，持续一致性问题无法得到解决。
Headless BI 理念——管、研、用一体
最近几年，许多国内外先进企业逐渐采用这种方案。其核心思想是将指标的业务语义和应用层解耦。在数据仓库和下游应用之间建立一个独立的指标语义层，通过这一层实现指标的一次定义、多处使用，建立企业的统一指标库，确保所有场景中消费相同的指标，真正实现指标的统一管理。

Aloudata CAN 自动化指标平台正是应用了“Headless BI”架构，以指标为中心的数据解决方案，通过轻量化的方式加工指标、消费指标，实现指标统一定义、统一管理与统一服务，实现指标管研用一体化。消费层面，通过 API \JDBC 对接不同工具，将分散在各个工具中的指标统一纳入指标平台管理，实现“一次定义、随处可用”，最终为企业提供一个更加高效、统一的指标生产与管理体验，以适应不断变化和升级的企业数字化需求。

三个主张、四大功能

Aloudata CAN 自动化指标平台命名的三个字母代表了产品的三大价值主张：

C - Collaboration（协作）：改变传统的分析师和 ETL 工程师与业务部门的协作模式，让业务部门能够自助选择指标和维度，进行灵活分析，而不是完全依赖 IT 的定制开发。
A - Automation（自动化）：改变指标的生产模式，为了应对在大数据量下查询性能不足的问题，通过自动化指标生产来满足业务端的查询体验需求，不仅能减少 ETL 的开发工作量，也降低了运维成本。
N - Normalization（标准化）：改变指标的管理和服务模式，通过平台的统一语义层就能实现指标的一次定义、处处使用，真正实现指标的统一管理。解决了以前指标分散在不同数据集和报表中、重复开发和定义的问题，提高了指标的复用性和分析效率。

基于协作、自动化、标准化的三大价值主张，Aloudata CAN 自动化指标平台核心提供了四大功能：

规范化指标定义
基于语义模型实现标准化的指标定义，不仅降低了指标定义门槛，还能自动化进行指标重名的校验，保证指标口径的百分之百一致。平台还将指标函数封装成标准化的配置，复杂指标也可以通过配置化方式定义，实现指标口径的 100%一致。
自动化指标生产
依托自研的数据虚拟化引擎，不需要 IT 加工宽表与汇总表，我们能够实现自适应的物化加速，解决大数据量下复杂场景的查询性能需求。
语义化指标目录
Aloudata CAN 提供统一的指标目录，使用户能够在其中快速查找和消费他们需要的指标；还提供字段级的指标血缘和指标的多版本，实现指标加工的全链路监控及指标历史变更记录。
开放化指标服务
通过标准化 API 和 JDBC 接口，可向下游的 BI 工具、AI 应用和业务系统提供所有定义的指标和维度的消费，实现指标“一次定义、处处使用”、“一个指标、任意场景消费”。

通过这四大能力，我们真正实现了指标的管理、研发与消费一体化，为企业提供一个业务用得好、IT 管得住的指标定义、生产与管理平台，实现指标敏捷一致的分析。

强大的指标定义能力、自动化的指标生产、灵活的指标分析

Aloudata CAN 产品的核心特性可以总结为三个方面：强大、自动和灵活。

一、强大的指标定义能力

基于强大的语义数据模型和语义函数定义，Aloudata CAN 能够支持任意复杂指标（如“近 1 年月日均 AUM 最大值”这类二次聚合类指标和“近 30 天消费金额 > 5,000 元的客户人数”这类标签化定义指标）的标准化和可配置化的指标定义，确保了指标口径的百分之百一致性。

通过强大的指标定义能力，Aloudata CAN 支持了数据处理者和业务使用者之间的分离，将资产沉淀和灵活消费场景隔离开来，做轻数仓。

在语义模型方面，Aloudata CAN 提供了经典的雪花模型支持指标定义。雪花模型支持建立维度表和事实表之间的关联关系，无需在物理层面上进行打宽或汇总生成新的表，从而保证指标定义和消费的灵活性。

只有当指标可以被标准化定义时，才能被有效管理，从而实现指标的统一管理和口径的一致性。Aloudata CAN 还提供了强大的指标语义函数能力，进一步细化了五类指标定义范式：

常规聚合指标定义：如可累加指标（如交易额）、半累加指标（如存款余额）和不可累加指标（如客户数、客单价）。
跨表限定的指标定义：以往由于平台能力限制，必须将不同维度的数据整合到一张表中。现在，基于语义模型定义指标不再需要进行物理打宽，就可以定义像“金卡会员交易金额”这样的指标。除了跨维表定义外，平台还支持跨多张事实表定义指标，例如，定义“访问活动页面并且成交的客户数”。
指标维度化的指标定义：营销活动场景中，业务经常需要利用用户行为类指标作为标签，来筛选和分析特定群体的指标表现。例如：近 30 天消费金额 > 5,000 元的客户人数，即可归为指标维度化定义指标。
二次聚合指标定义：在前三类指标的基础上，平台还可以进行二次聚合指标的定义，如“近 1 年月日均 AUM 最大值”。
对比分析类指标定义：基于前四类指标，平台还支持复杂的对比衍生类的指标定义，如同环比、占比、排名等，例如：不同门店的交易金额排名。

基于强大的语义模型和指标函数能力，Aloudata CAN 可以实现任何复杂指标的标准化和可配置化定义。

二、自动化的指标生产

Aloudata 团队自研的数据虚拟化引擎实现了自动化的指标生产能力，意味着 IT 不再需要加工大量的宽表和汇总表来满足业务对指标查询性能的需求。

这种自动化生产大大减轻了指标开发的工作量，能够节省超过 70% 的 ETL 工作量。“自动化”的实现主要包含两个能力：

自动化指标生产

Aloudata CAN 能够根据用户的查询行为和查询性能需求，自动将用户查询转换成 SQL 代码，进而实现自动化的物理链路编排和智能查询路由下推。

自动化变更回刷

如果上游数据口径或指标口径发生变化，系统可以自动感知这些变化，自动调整任务脚本并进行数据回刷，以确保用户在分析指标时数据的准确性。

这种自动化能力极大地提高了指标生产的效率，降低了对 IT 的依赖，减少指标口径变更与维护管理的成本。

三、灵活的指标分析

业务部门在分析指标时不仅需要查看汇总指标，还希望能从多个维度和颗粒度探索和分析这些指标。

在 Aloudata CAN 自动化指标平台上，一个指标支持从不同颗粒度、不同维度进行分析。例如，业务人员在分析交易额时，可能需要从日期、地区、客户类型等多个维度，甚至要从用户 ID 或商品 ID 等明细级别进行分析。在传统方法中，这可能需要创建多个宽表或汇总表，导致指标数量无限膨胀。而在 Aloudata CAN 平台上，仅需定义一个指标就可以实现任意维度的分析。

此外，业务人员在分析时，可能需要基于 IT 定义的指标进行灵活的业务限定筛选。例如，在营销活动中，业务可能需要分析活动期间的交易额，甚至可能需要根据用户标签筛选特定人群，以查看其交易额。在 Aloudata CAN 中，通过一个指标，就能完成多场景消费，允许用户从任意维度进行筛选和分析，无需重复定义不同的指标。

Aloudata CAN 灵活的指标分析能力使用户分析不受维度的限制，大幅提升指标的使用效率，从原先需要排期等待月、周以上的时间，缩短到小时、分钟级。这种灵活性允许业务人员根据需要自由探索和分析数据，无需提需求给 IT 排期，等待开发大量的宽表与汇总表以满足需求。

落地应用：彻底提效、完全统一

强大、自动和灵活是 Aloudata CAN 自动化指标平台的三大核心特性。在企业应用场景中，这些特性也带来了实际的价值。

以某个证券行业客户为例，在使用 Aloudata CAN 平台之前，该客户面临的一个主要问题是指标口径的不一致。指标平台上线前，由于开发链路的不一致，在不同的报表和业务系统中，同一个指标可能存在差异。

通过 Aloudata CAN，客户实现了统一的指标定义和自动化开发，彻底解决了口径不一致的问题。此外，过去指标的开发流程，从需求评审到开发、测试、回刷、上线，需要两周以上的时间，现在缩短到了分钟级，极大提高了开发效率。

在指标的实际应用方面，以往业务人员在分析指标时，经常因为数据维度不足而被迫中断分析流程，返回找到 IT 提出新的数据需求，不得不中断分析思路，降低业务探索效率。现在，借助平台强大的指标定义能力和物化加速能力，业务人员可以从任意维度进行分析，甚至可以获取明细数据，使得分析思路不再被打断，分析效率大大提高。

例如，该客户在某一条业务线上，IT 只需要准备 10 张公共层数据模型和 100 个原子指标的定义，就可以支持业务人员使用逾 300 个维度与指标组合灵活分析，满足业务日常分析需求。这大幅缩短了指标开发工作量、指标排查工作量和指标变更管理成本，同时显著提升了业务用数体验的满意度。此外，通过 Aloudata CAN，该企业还实现了企业指标的统一沉淀，形成了自上而下统一的用数语言。

近日，招商银行基于 Aloudata CAN 指标平台强大的语义层能力和物化加速能力实现的“敏捷数据服务体系建设实践”，获评中国信通院 2023 大数据“星河”案例行业数据应用标杆案例。