通过前2篇对数据中台的架构和业务的了解,那么我们建设一个数据中台需要哪些子系统或者组件来完成。
基础能力平台
提供云底座的PaaS层,可供上面建设包括数据存储、大数据组件、数据湖和数据仓库等
集成开发平台
提供从源数据到数据应用的转换所需的开发能力,包括数据探索、数据采集、数据同步、数据开发、数据服务等能力。可供研发人员、数据分析人员、业务人员直接使用的平台
资产运营平台
管理全局的数据资产,包括主数据、元数据、数据服务管理、数据安全等,同时还包括一套完整的运营机制
门户平台
结合业务部门的需求,为业务部门提供实际可用的能力,包括数据服务、BI报表、数据模型等。
数据流水线平台(DataOps)
数据流向是从业务系统到数据湖、数据湖到数据仓库、数据仓库到顶层应用,在这过程中我们可以看到利用到了一些数据采集、数据开发、模型设计等等技术,对于一个非技术出生的人,面对底层各种技术工具,同时还要考虑从测试环境到预发布环境到正式环境的操作上保持一致,这个困难度可想而知,因此就会出现数据流水线管理。
该平台贯穿整个数据流程,通过数据采集、定义模型、定义计算、生成目标数据等操作,定义一个流水线模板,可用于一键测试、部署、发布。