体系架构
模型设计: 以维度建模理论
为基础,基于维度建模总线架构
,构建一致性的维度和事实(进行规范定义)。同时,在落地数据模型时,基于自身业务特点设计出一整套数据模型规范命名体系。
规范定义-构建指标体系的基础
规范定义: 以维度建模作为理论基础构建总线矩阵
,划分和定义数据域、业务过程、维度、度量、原子指标、修饰类型、修饰词、时间周期、派生指标
。
名词术语
名词术语 | 解释 |
---|---|
数据域 | 面向业务分析,将业务过程或者维度进行抽象的集合。其中业务过程可以概括为一个个不可拆分的行为事件 ,在业务过程之下可以定义指标;维度是指度量的环境,如买家下单事件,买家是维度。为保障整个体系的生命力,数据域是需要抽象提炼,并且要长期维护和更新,但不会轻易变动。在划分数据域时,既能涵盖当前所有的业务需求,又能在新业务进入时无影响地被包含进已有的数据域中或扩展新的数据域。 |
业务过程 | 企业的业务活动事件,如下单、支付、退款都是业务过程。业务过程是一个不可拆分的行为事件,通俗地讲,业务过程就是企业活动中的事件。 |
时间周期 | 用来明确数据统计的时间范围或者时间点,如最近30天、自然周、截止当日等。 |
修饰类型 | 是对修饰词的一种抽象划分。修饰类型从属于某个业务域,如日志域的访问终端类型 涵盖无线端、PC端等修饰词。 |
修饰词 | 对指标的业务场景进一步限定。修饰词隶属于一种修饰类型,如在日志域的访问终端类型下,有修饰词PC端、无线端等。修饰词是一个比较容易产生歧义的地方,如果一个修饰词有对应的维表,那他就是一个修饰词,如果没有对应的维表,按就归入到原子指标中。 |
度量/原子指标 | 原子指标和度量含义相同,基于某一业务事件行为下的度量,是业务定义中不可再拆分的指标,具有明确业务含义的名称,如支付金额。 |
维度 | 维度是度量的环境,用来反映业务的一类属性;这类属性的集合构成一个维度也可以称为实体对象。维度属于某个数据域或多个数据域共享,如地理维度(其中包括国家、地区、省以及城市等级别的内容)、时间维度(其中包括年、季、月、周、日等级别的内容)。 |
维度属性 | 维度属性隶属于一个维度;如地理维度里面的国家名称、同家ID、省份名称等都属于地理维度的属性。 |
派生指标 | 派生指标=1个原子指标+多个修饰词(可选)+时间周期 ;可以理解为对原子指标业务统计范围的圈定。比如原子指标=支付金额 ,最近7天海外买家支付金额则为派生指标 (最近7天为时间周期、海外为修饰词、买家作为维度,而不作为修饰词) |
结果型指标 | 衡量用户发生了某个动作后所产生的结果,通常是延后知道的,很难进行干预。结果型指标更多的监控数据的异常波动,或者监控某个场景下用户需求是否被满足。常见的:报名数,收入金额等。 |
过程型指标 | 用户在完成某个动作的时候所产出的指标,可以通过某些运营策略来影响该过程的指标,从而影响最终的结果,过程型指标更加关注用户的需求为什么被满足或者没被满足。常见的:曝光数,点击数等。 |
T1指标 | 公司级的战略层面指标,公司中 T1指标:报名量 |
T2指标 | 业务决策层面指标,首页到详情页转化率。 |
T3指标 | 业务执行层面指标,曝光次数,点击次数,收藏次数等 |
指标体系
指标的组成(原子指标、派生指标、修饰类型、修饰词、时间周期),将它们作为一个整体来解读。
基本原则
派生指标由原子指标、时间周期修饰词、若干其他修饰词组合得到。
原子指标、修饰类型以及修饰词,直接归属在业务过程下,其中修饰词继承修饰类型的数据域。
派生指标可以选择多个修饰词,修饰词之间的关系为”或”或者”且”,由具体的派生指标语义决定。
派生指标唯一归属一个原子指标,继承原子指标的数据域,与修饰词的数据域无关。
一般而言,事务型指标和存量型指标(见下文定义)只会定位到一个业务过程,如果遇到同时有两个行为发生、需要多个修饰词、生成一个派生指标的情况,则选择时间靠后的行为创建原子指标,选择时间靠前的行为创建修饰词。
原子指标有确定的英文字段名、数据类型和算法说明;派生指标要继承原子指标的英文名、数据类型和算法要求。
派生指标的种类
派生指标可以分为三类:事务型指标
、存量型指标
、复合型指标
。按照其特性不同,有些必须新建原子指标,有些可以在其他类型原子指标的基础上增加修饰词形成派生指标。
事务型指标
是指对业务活动进行衡量的指标。例如新发商品数、重发商品数、新增注册会员数、订单支付金额,这类指标需维护原子指标及修饰词,在此基础上创建派生指标。存量型指标
是指对实体对象(如商品、会员)某些状态的统计。例如商品总数、注册会员总数,这类指标需维护原子指标及修饰 词,在此基础上创建派生指标,对应的时间周期 般为“历史截 至当前某个时间”。复合型指标 是在事务型指标和存量型指标的基础上复合而成的。
复合型指标的规则
比率型 创建原子指标。
比例型 创建原子指标,如百分比、占比。
变化量型:不创建原子指标,增加修饰词,在此基础上创建派指标。
变化率型:创建原子指标。
统计型(均值、分位数等):不创建原子指标,增加修饰词,在此基础上创建派生指标;在修饰类型“统计方法”下增加修饰词。
排名型 创建原子指标。
创建派生指标时选择对应的修饰词如下:
统计方法(如降序、升序)。
排名名次(如 TOP IO )。
排名范围(如行业、省份、一级来源等)。
根据什么排序(如搜索次数、PV )。
对象集合型,主要是指数据产品和应用需要展现数据时,将一些对象以 k-v 对的方式存储在一个字段中,方便前端展现。
其他规则
上下层级派生指标同时存在时,如最近一天支付金额和最近PC端支付金额,建议使用前者,把PC端作为维度属性存放在物理表中体现。
当父子关系原子指标存在时,派生指标使用子原子指标创建派生指标。如PV、IPV(商品详情页PV),当统计商品详情页PV时,优先选择子原子指标。
指标体系出现的问题和目标
问题
业务视角
业务分析场景指标、维度不明确;
频繁的需求变更和反复迭代,数据报表臃肿,数据参差不齐;
用户分析具体业务问题找数据、核对确认数据成本较高。
技术视角
指标定义,指标命名混乱,指标不唯一,指标维护口径不一致;
指标生产,重复建设;数据汇算成本较高;
指标消费,数据出口不统一,重复输出,输出口径不一致;
产品视角
缺乏系统产品化支持从生产到消费数据流没有系统产品层面打通
目标
技术目标
统一指标和维度管理,指标命名、计算口径、统计来源唯一,维度定义规范、维度值一致
业务目标
统一数据出口、场景化覆盖
产品目标
指标体系管理工具产品化落地;指标体系内容产品化落地支持决策、分析、运营例如智能运营分析产品等