​58 大数据应用平台的实践及演进之路

导读：随着大数据产业的快速发展和应用落地，大数据产业正在成为中国数字经济发展的重要驱动力。本文将分享 58 同城自研的星河-大数据开发应用平台。

今天的介绍会围绕下面四点展开：

• 大数据应用平台介绍

• 平台资源管控介绍

• 核心能力技术解析

• 总结及未来规划

分享嘉宾｜于涛 58大数据部 资深开发工程师

编辑整理｜王雨萌 中文在线

出品社区｜DataFun

---

01

大数据应用平台介绍

1. 58 平台介绍

首先，介绍一下星河平台。星河平台是 58 大数据应用平台，是一个自研的一站式大数据应用解决方案，集数据集成、开发、运维、治理、资产管理能力于一身。致力于解决多业务场景、多业务系统下的数据开发、数据治理、资产管理等难题。帮助业务团队提升研发效率，降低运维管理成本，挖掘数据价值，为业务决策提供支撑。最关键的，为业务赋能，是数据应用平台价值体现的重要部分。

58 大数据平台，一共经历了三个时代。

第一个时代，也就是 1.0 时代，是一个基本探查的时代。在基本探查时代，我们仅支持探查类的一些查询，异构数据源仅支持 Hive 和 MySQL 的一些离线方面的查询。更多的应用开发面向产品的需求。

到了 2.0 时代，升级为核心调度时代。调度体系，也就是我们核心的一个工作内容。在这个阶段，主要任务是打造自研的核心调用平台，支持更多的生产场景，数据源支持多元化，自研全新的调度服务、元数据服务等。同时，在这个阶段，我们升级了元数据服务，使得元数据服务体系更加独立。为什么要这样做呢？后面会和大家详细解说。

到了 3.0 时代，就变成了一个全链路闭环的时代。这个时代，我们的重点是投入更多的经历到体系化的产品建设方面，形成一站式的数据应用平台。增加了数据全链路的服务管控能力。在这个阶段，我们也做了一些元数据服务体系衍生出来的一些核心能力的升级：比如数据地图、以及全链路的血缘关系，同时也专项的推进了一些数据治理的工作。在这个时期，我们基本上已经承载了全公司的业务。

2. 58 大数据应用平台核心

接下来介绍 58 应用平台的核心宗旨。

• 统一数据规范

首先，统一数据规范以及资产标准，通过对数据规范的一些建设，提升效率。

• 保证数据安全

保证数据安全，不仅对表库级别的数据安全有一些核心的控制，在针对字段力度，有一些更加细粒度的行列权限的控制，包括敏感和加密字段的管理，构造数据屏障。

• 丰富的数据交换任务

丰富的数据交换任务，刚才我们已经说了支持20多中数据任务的开发。这种形式的页面交互，对小伙伴们进行数据开发、作业调度等，门槛会大大降低。

• 综合数据治理

结合数据治理，