指标建模概念和设计

OkGogooXSailboat

已于 2024-06-28 09:01:03 修改

阅读量294

点赞数

分类专栏：大数据平台开发技术文章标签：大数据数据分析

于 2023-08-05 16:20:15 首次发布

本文链接：https://blog.csdn.net/OkGogooXSailboat/article/details/132121137

版权

大数据平台开发技术专栏收录该内容

18 篇文章 1 订阅

订阅专栏

1. 背景

笔者正在开发大数据平台(XSailboat)中的指标建模工具(SailIMS)。以此篇文档梳理一下其中一部分关键性的功能设计。内容重点不在解释各种理论和方法，而是描述一种将实际落地、可操作的指标建模功能设计方案。

2. 基础概念

下面这些概念是基于笔者自己的理解和产品设计需要阐述的，并非标准。在软件工程中没有绝对的标准和范例，关键与自己的业务场景相适应。阿里云的DataWorks中亦有他们的概念和设计，可以参考《阿里云数据指标概述》。

这个图能很好地阐述一些指标的核心概念。包括原子指标、维度、派生指标。

在维度中，时间维度是一个非常重要和特殊的维度。时间维度确立了数据在时间尺度上的分组方法。在通常情况下，一个维度一般对应着一个字段，但基于我所使用的统计技术和经验，我将时间维度定义为由以下5个字段组成的元组。

time_range_type，统计期范围类型。可取值有：年度、季度、月度、每周、每天等。可以按需扩展更多统计期范围类型。
start_time，统计期开始时间。例如当统计期为年度时，2023年度的start_time就是2023-01-01 00:00:00
end_time，统计期结束时间。例如当统计期为年度时，2023年度的end_time就是2024-01-01 00:00:00，
sts_start_time，事实上的统计开始时间。例如当统计期为年度时，2023年度的sts_start_time就是2023-01-01 00:00:00
sts_end_time，事实上的统计结束时间。例如当统计期为年度时，假设当前是2023年7月15号，那么它的sts_end_time就是2023-07-15 00:00:00。因为这通常是离线统计，业务日期为昨天，2023-07-14。而sts_end_time是右开，不包含的，所以是2023-07-15 00:00:00。

上图中，没有包含复合指标。它是由其它指标符合而成的指标。可以用下图解释

复合指标可以有一个或多个指标复合而成，复合指标可以用图中的表连接语句来类比。因为复合指标复合方式逻辑可能比较复杂，可能是一个指标表内部一行数据多个指标列之间的运算（多个维度相同来源于同一个统计基础宽表的多个指标一般会在同一个表中），也可能是某列行间的运算，也可能是多个表连接之后同一行多列之间的运算。这几种情形，其实都可以类比成图中的表连接SQL。

在非指标定义直接生成计算任务的情况下，为了降低定义者的描述负担，复合指标一般用语言描述出它的计算方法即可，无需用严格的关系代数去描述。但是其相关指标来源、维度来源依然需要结构化配置。

3. 指标管理功能设计

指标的核心概念理清以后，接下来面临的一个问题是，指标该如何组织管理，如何支撑起指标的配置？！！

我这边支撑起这些的关键概念及组件是：

维度建模
业务类/包/域
指标视图

3.1 概念及思想

业务域。笔者所开发的大数据平台是面向政府和大企业的私有大数据平台。对于一个地方政府或一个大企业来说，它有很多个业务方向，在进行指标创建的时候，需要按领域去构建，但是在查看/使用的时候，即在构建指标视图的时候，应该可以垮业务域组织视图。所以在指标这块没有像数据工厂一样采用工作空间来做严格资源和空间划分，而是使用了业务域的概念，这样既能对通过业务域对资源进行必要的访问控制，又能让某些人可以一次查看多个业务域去构建视图。

业务包。在业务域下面由业务包来分层组织管理业务类。

业务类。是具有指标描述价值的一类事物名词。例如，国家、省份、企业、人等一类事物名词。例如：

“一个国家的人的平均身高”这个指标，它就可以作为“国家”这一业务类的指标。
“一个省份的年度GDP”指标就可以作为“省份”这个业务类的指标。
“一个企业的年度营收”指标就可以作为“企业”这个业务类的指标。
“一个人的身高”这个指标就可以作为“人”这个业务类的指标。

业务类来源于维度，是在维度上的进一步扩展。这种扩展在实现上不是垂直方向上的继承扩展（继承维度类），而是通过关联水平扩展。业务类必需设定一个主维度，设定0…n个维度作为修饰维度。
业务类下面的指标必需引用当前业务类的主维度，其它修饰维度可以引用，也可以不引用。
业务类之间可以有继承关系。继承关系是在父类的基础上，通过限定父类上没有限定的维度取值的方法，得到子类。例如，“人”关联有id（人的唯一标识）、年龄段（可取值：儿童、青年、壮年、老年）、性别（可取值：男、女）三个维度，那么“人”就可以通过限定性别为男，得到“男人”这个业务类，通过限定性别为女，得到“女人”这个业务类。这个过程与指标派生的过程类似，其实这个业务类就是通过维度分类管理指标的构件。特别的是，它是选取有指标评价的目标事物作为主线，再叠加修饰限定去构建更细化的事物，就像前面的例子，我们以“人”作为主线，叠加修饰“雄性”、“雌性”，得到“男人”、“女人”业务类。
子类缺省具有父类上所挂接的所有指标，支持主动排除某些缺省继承下来的指标。
一个指标有多个维度，如果其中有两个或两个以上的维度是业务类的维度属性时，它将自动出现在其它业务类下面。即某个业务类下面有哪些指标，是通过业务类的维度属性，寻找使用此维度的所有指标。

注：这个地方之所以用业务类，而不用业务对象，是因为在实践中，看到业务对象，特别让人潜意识的认为它是一个实体对象。例如：张三、山东省等，所以选择使用业务类。业务类是可以通过限定维度，细化到实体对象级别的。

指标视图。业务域、包、和业务类是从指标构建角度设定的层次结构，但从指标用户的角度，它可能需要有专门的、个性化的视角去组织、审视指标。所以指标建模模块提供了指标视图功能，支持按人、按角色去构建个性化视图。指标视图是可以跨业务域构建的。

维度建模，是以业务域作为限定空间的。同一业务域内不能有同名维度，不同业务域可以有同名维度。维度建模作为一个单独的功能块，是为了实现维度被指标共享，避免重复定义。
指标概念关系图

3.2 指标与数据

在定义了指标之后，如果指标不能跟数据关联起来，那么指标就定义就缺少了灵魂，缺少定义和维护迭代的动力。

我们的数据工厂是用Hive作为离线分析的计算和存储引擎、用Flink作为实时计算引擎，他们的计算结果最后都会输出到关系数据库，再由数据服务配置生成API，发布到API网关。因此我选择在指标建模工具中，将指标和API网关上的API进行单向绑定，从而建立起指标和数据的关联。

这样点击指标不仅能查看指标的定义，也能查看指标数据。支持以表格和通用图表的形式展示指标数据。

能和指标绑定的API是由形式要求的。要求有：

Http Method为GET
只有Query形式的参数；
查询参数名和指标的维度名要一一对应。（维度有名称和显示名。名称是复合数据库字段命名规范的）
返回结果必需是这种形式的JSON数据。

{
    "data":{
        [v00 , v01 , ... , v0n] ,
        [v10 , v11 , ... , v1n] ,
        ...
        [vm0 , vm1 , ... , vmn] 
    } ,
    "meta" : {
       "col0":{
            "dataType":"string" ,
            "colIndex":0 ,
           ...
       } ,
       ....
    }
}

指标和数据相关的系统逻辑结构如下图所示
指标和数据相关的系统逻辑结构.png

3.3 指标建模在大数据平台中的定位

指标建模功能对于大数据平台的意义主要体现在下面几个方面：

是进行数据开发之前，讨论确定需求，梳理指标的重要工具，它是数据开发的终极目标，像灯塔一样指引、规范整个开发过程。
它也是数据开发之后，有效的任务完成情况核查工具。初略的核查，只要看看前期定义的指标是否都绑定了API，看看其可视化图表就可以。
用它可以构建出数据开发结果的知识体系。对于非数据和API开发者，相对于数据表和API而言，对于指标应该更为了解，从指标切入去寻找API和数据表将更为容易。指标建模成为他们了解数据的一个切入点。

指标建模体系逻辑.png

这是笔者的大数据平台(XSailboat)的指标建模和数仓建设的思路，在开发过程中就建立起“指标⇌模式⇌数据⇌接口⇌图表”的双向联系，从其中任何一个点切入，都能有线索获取到其它部分的相关信息。

补充 - 指标建模服务时间维度设定时的存储值#

time_range_type = ‘年度’
设定值的存储格式：2024
time_range_type = ‘季度’
设定值的存储格式：2024Q1（2024年第1季度）、2024Q2（2024年第2季度）
time_range_type = ‘月度’
设定值的存储格式：2024-01（2024年1月）、2024-10（2024年10月）
time_range_type = ‘每周’
设定值的存储格式：2024W1（2024年第1周）、2024-10（2024年第2周）。周从星期一开始，以星期一所在年份确定周所在年份。
time_range_type = ‘每天’
设定值的存储格式：2024-01-01（2024年1月1日）、2024年02月10日（2024年2月10日）。