导读:随着大数据产业的快速发展和应用落地,大数据产业正在成为中国数字经济发展的重要驱动力。本文将分享 58 同城自研的星河-大数据开发应用平台。
今天的介绍会围绕下面四点展开:
-
大数据应用平台介绍
-
平台资源管控介绍
-
核心能力技术解析
-
总结及未来规划
分享嘉宾|于涛 58大数据部 资深开发工程师
编辑整理|王雨萌 中文在线
出品社区|DataFun
01
大数据应用平台介绍
1. 58 平台介绍
首先,介绍一下星河平台。星河平台是 58 大数据应用平台,是一个自研的一站式大数据应用解决方案,集数据集成、开发、运维、治理、资产管理能力于一身。致力于解决多业务场景、多业务系统下的数据开发、数据治理、资产管理等难题。帮助业务团队提升研发效率,降低运维管理成本,挖掘数据价值,为业务决策提供支撑。最关键的,为业务赋能,是数据应用平台价值体现的重要部分。
58 大数据平台,一共经历了三个时代。
第一个时代,也就是 1.0 时代,是一个基本探查的时代。在基本探查时代,我们仅支持探查类的一些查询,异构数据源仅支持 Hive 和 MySQL 的一些离线方面的查询。更多的应用开发面向产品的需求。
到了 2.0 时代,升级为核心调度时代。调度体系,也就是我们核心的一个工作内容。在这个阶段,主要任务是打造自研的核心调用平台,支持更多的生产场景,数据源支持多元化,自研全新的调度服务、元数据服务等。同时,在这个阶段,我们升级了元数据服务,使得元数据服务体系更加独立。为什么要这样做呢?后面会和大家详细解说。
到了 3.0 时代,就变成了一个全链路闭环的时代。这个时代,我们的重点是投入更多的经历到体系化的产品建设方面,形成一站式的数据应用平台。增加了数据全链路的服务管控能力。在这个阶段,我们也做了一些元数据服务体系衍生出来的一些核心能力的升级:比如数据地图、以及全链路的血缘关系,同时也专项的推进了一些数据治理的工作。在这个时期,我们基本上已经承载了全公司的业务。
2. 58 大数据应用平台核心
接下来介绍 58 应用平台的核心宗旨。
-
统一数据规范
首先,统一数据规范以及资产标准,通过对数据规范的一些建设,提升效率。
-
保证数据安全
保证数据安全,不仅对表库级别的数据安全有一些核心的控制,在针对字段力度,有一些更加细粒度的行列权限的控制,包括敏感和加密字段的管理,构造数据屏障。
-
丰富的数据交换任务
丰富的数据交换任务,刚才我们已经说了支持20多中数据任务的开发。这种形式的页面交互,对小伙伴们进行数据开发、作业调度等,门槛会大大降低。
-
综合数据治理
结合数据治理,