1. 背景调研
在7-8月双月okr中,可以看到好多小伙伴的okr内容都提到了数据服务的概念,首先就可以说明这个在数据部门发展过程中是一个必不可少的路径
服务化:不同系统之间通过服务方式交互,服务通常以 API 接口形式存在
服务化在业务系统中提的比较多,它使业务系统化繁为简,实现业务的拆分,要想搞清楚数据服务解决了什么问题,就要先知道,没有数据服务,我们在日常数据建设中存在哪些痛点
- 数据不知道被哪些应用访问
- 数据存储多份,浪费资源
- 底层数据变更,项目也得跟着改
- 没有统一的管理平台
数据不知道被哪些应用访问
目前趣头条的数据平台建设中,已经有了元数据平台,包含数据的血缘,数据血缘建立了表与表之间的链路关系,但是在表的末端,我们却不知到表被哪些应用访问,所以应用到表的链路是断的。
当发生大面积异常的时候,往往只能凭借经验来恢复高优任务,甚至是低优任务与高优任务一起恢复的情况,往往会拖长整个恢复过程,影响重要报表的产出
同样在刚刚上线的成本治理中,因为没有应用和表的链路关联关系,我们不敢下线一些零使用的表。
而数据服务打通了数据和应用的访问链路,建立了从数据应用到数据中台数据的全链路数据血缘关系,当任何一个任务出现问题,我们都可以顺着血缘关系,找到这个故障影响了哪些