来电科技：基于 Flink + Hologres 的实时数仓演进之路

简介： 本文将会讲述共享充电宝开创企业来电科技如何基于 Flink + Hologres 构建统一数据服务加速的实时数仓

作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合。

深圳来电科技有限公司（以下简称 “来电科技”）是共享充电宝行业开创企业，主要业务覆盖充电宝自助租赁、定制商场导航机开发、广告展示设备及广告传播等服务。来电科技拥有业内立体化产品线，大中小机柜以及桌面型，目前全国超过 90% 的城市实现业务服务落地，注册用户超 2 亿人，实现全场景用户需求。

一、大数据平台介绍

1. 发展历程

来电科技大数据平台的发展历程主要分为以下三个阶段：

1）离散 0.X Greenplum

为什么说离散？因为之前没有一个统一的大数据平台来支持数据服务，而是由每个业务开发线自行取数或者做一些计算，并用一个低配版的 Greenplum 离线服务来维持日常的数据需求。

2）离线 1.0 EMR

之后架构升级为离线 1.0 EMR，这里的 EMR 指的是阿里云由大数据组成的弹性分布式混合集群服务，包括 Hadoop、HiveSpark 离线计算等常见组件。

阿里云 EMR 主要解决我们三个痛点：

• 一是存储计算资源的水平可扩展；
• 二是解决了前面各个业务线异构数据带来的开发维护问题，由平台统一清洗入仓；
• 三是我们可以建立自己的数仓分层体系，划分一个主题域，为我们的指标系统打好基础。

3）实时、统一 2.0 Flink + Hologres

当前正经历的 “Flink + Hologres” 实时数仓，这也是本文分享的核心。它为我们大数据平台带来了两个质的改变，一是实时计算，二是统一数据服务。基于这两点，我们加速知识数据探索，促进业务快速发展。

2. 平台能力

总的概括来说，2.0 版本的大数据平台提供了以下能力：

• 数据集成

  平台现在支持使用实时或者离线的方式集成业务数据库或业务数据的日志。

• 数据开发

  平台现已支持基于 Spark 的离线计算以及基于 Flink 的实时计算。

• 数据服务

  数据服务主要由两部分组成：

  • 一部分是由 Impala 提供的分析服务和即席分析的能力；
  • 另一部分是 Hologres 提供的针对业务数据的交互式分析能力。
• 数据应用

  同时平台可以直接对接常见的 BI 工具，业务系统也能快速地集成对接。