好未来数据中台实时数据平台演进

摘要：本文由好未来资深数据平台工程师毛祥溢分享，主要介绍批流融合在教育行业的实践。内容包括两部分，第一部分是好未来在做实时平台中的几点思考，第二部分主要分享教育行业中特有数据分析场景。大纲如下：

1. 背景介绍

2. 好未来 T-Streaming 实时平台

3. K12 教育典型分析场景

4. 展望与规划

Tips：点击文末【链接】即可下载作者分享 PPT 并回顾原版分享视频～

1.背景介绍

好未来介绍

好未来是一家 2003 年成立教育科技公司，旗下有品牌学而思，现在大家听说的学而思培优、学而思网校都是该品牌的衍生，2010 年公司在美国纳斯达克上市，2013 年更名为好未来。2016 年，公司的业务范围已经覆盖负一岁到 24 岁的用户。目前公司主营业务单元有智慧教育、教育领域的开放平台、K12 教育以及海外留学等业务。

好未来数据中台全景图

上图为好未来数据中台的全景图，主要分为三层：

• 第一层是数据赋能层

• 第二层是全域数据层

• 第三层是数据开发层

首先，数据赋能层。主要是商业智能、智慧决策的应用，包括一些数据工具、数据能力以及专题分析体系，数据工具主要包括埋点数据分析工具、AB 测试工具、大屏工具；数据能力分析主要包括未来画像服务、未来增长服务、未来用户服务以及新校区的选址服务；专题分析体系主要包企业经营类专题分析等等。

其次，数据全域层。我们期望将全集团所有的事业部的数据进行深入的拉通和融合，打通不同业务线、产品线的用户池，从而盘活全集团的数据。具体的手段是  IDMapping，将设备 id、自然人、家庭三个层级的 id 映射关系挖掘出来，将不同产品上的用户数据关联起来。这样就能够形成一个大的用户池，方便我们更好的赋能用户。

最后，数据开发层。数据开发通过一些列的平台承载了全集团所有的数据开发工程，主要包括数据集成、数据开发、数据质量、数据服务、数据治理等服务。我们今天要分享的实时平台就是在数据开发中。

2.好未来 T-Streaming 实时平台

实时平台构建前的诉求

实时平台在构建之初，我们梳理了四个重要的诉求。

• 第一个诉求是期望有一套统一的集群，通过提供多租户，资源隔离的方式提高资源利用率，解决多个事业部多套集群的问题。

• 第二个诉求是期望通过平台的方式降低实时数据开发的门槛，从而能够覆盖更多的开发者。

• 第三个诉求是期望能够提供通用场景的解决解方案，提高项目的复用性，避免每个事业部都开发相同场景的分析工具。

• 第四个诉求是对作业进行全方位的生命周期管理，包括元数据和血缘，一旦有一个作业出现异常，我们可以快速分析和定位影响范围。

实时平台功能概述

现在我们平台已经是一个一站式的实时数据分析平台，包括了数据集成、数据开发、作业保障、资源管理、数据安全等功能。

• 在数据集成方面，我们支持数据库、埋点数据、服务端日志数据的集成，为了能够提高数据集成的效率，我们提供了很多的通用模板作业，用户只需要配置即可快速实现数据的集成。

• 在数据开发方面，我们支持两种方式的作业开发，一种是 Flink SQL 作业开发、一种是 Flink Jar 包托管，在 Flink SQL 开发上我们内置了很多 U