B. 阿里巴巴 数据中台 — OneEntity体系方法论 与 OneService体系方法论
OneEntity体系方法论
- OneEntity统一实体
- 分类
- 一般质量OneEntity:不能贴上“特定标签”的OneEntity
- 高质量OneEntity:能够贴上“特定标签”,这里的“特定标签”会因业务和场景而异。
- 高价值OneEntity:不仅要能用标签等来精准刻画,还要达到实际意义上的可精准触达
- 分类
- GProfile全域标签:以“人”为例
- 有效:基于人口学、社会学等学科,以及借鉴业界标签分类体系的优点,将“人”的立体刻画分为“人的核心属性”和“人的向往与需求”两大部分,具体包括四大类:可以在分为二级分类和三级分类等
- 人的核心属性
- 自然属性:人的肉体存在及其特征,是人自然出生后自然存在的,一般不会因人为因素较大的改变。例如:性别、生肖、年龄、身高、体重等
- 社会属性:人在实践活动基础上产生的一切社会关系的总和。例如:经济情况、家庭状况、社会地位、政治宗教、地理位置、价值观等
- 人的向往与需求
- 兴趣偏好:人对非物化对象的内在心理向往及外在行为表达,是一种发自内心的本能喜好,与物质无必然关系。例如:渴望爱情、需要安全感、希望能有一口漂亮的牙齿、讨厌脏乱的环境等
- 行业消费偏好:人对物化对象的需求与外在行为表达,涉及各行业、与物质世界有着千丝万缕的联系。例如:母婴行业偏好、美妆行业偏好、洗护行业偏好、家装行业偏好等
- 人的核心属性
- 高速
- 以OneEntity体系为核心,将OneEntity相关的实体及其行为全部串联起来,与存量的标签一起作为数据源
- 将萃取标签逻辑沉淀为两种,分别对应到“偏好类标签”和“分类预测类标签”的工具性产品的生产过程中,其中包括确定计算因子及其权重等业务规则、选择数据样本、选择算法与模型等
- 沉淀质量评估报告和生产检测、上线等管理流程
- 有效:基于人口学、社会学等学科,以及借鉴业界标签分类体系的优点,将“人”的立体刻画分为“人的核心属性”和“人的向往与需求”两大部分,具体包括四大类:可以在分为二级分类和三级分类等
- GRelation全域关系
- 例如:当OneEntity代表人的时候,就可以找出他的亲属、朋友、校友和同事等当OneEntity代表“商品/货”时,就可以找出它的上下游商品/货等
- GBehavior全域行为
- 将OneEntity相关实体及行为全部串起来
OneService体系方法论
- 发展历程
- 2012年:烟囱式的API服务首先根据业务需求烟囱式定制开发满足需求的数据表。然后将数据表同步到查询数据库中,再基于查询数据库定制化封装面向一个个应用需求的API。每当应用调用一个API时,对该API数据调用与解析出来的SQL语句会指向写入该API中的制定物理表,从而实现API的定制化与独享化。
- 2014年OpenAPI:将相同统计维度的不同物理表中的数据指标配置到同一逻辑表中,因为数据指标是唯一的,所以配置到同一逻辑表中的数据指标都是唯一的。每当调用一个API时,对该API数据调用解析出来的SQL语句会通过逻辑表指向多个物理表,进而找到一个唯一的数据指标,从而实现API的共享以及API引用数据的共享。
- 2016年:OneService体系基于逻辑模型,而逻辑模型内的数据指标则是通过自动化、智能化实现的。1. 每当调用一个API时,对该API数据调用解析出来的SQL语句就会通过逻辑模型而非逻辑表发起一个数据指标的查询请求,而请求结果返回的则是由一个智能黑盒基于逻辑模型来实现的。2. 智能黑盒实现每一个指标的前提条件是,对每一个数据指标进行数据规范定义,并对应到一个逻辑模型中。智能黑盒基于此过程对数据指标实现智能计算和智能存储