虎牙实时计算平台服务的SLA之路

---

 

导读：随着实时计算的发展，越来越多的业务利用实时计算平台开发实时数据。与离线任务不同，实时任务需要更小的时延和更高的可靠性，如何更好地保障实时数据的质量是每个实时计算平台都需要解决的问题。

本次的分享题目为虎牙实时计算SLA实践之路，主要分为以下几个部分：

• 平台介绍
• 核心SLA定义
• 核心能力建设
• 未来展望

---

01 平台介绍

1. 发展历程

虎牙业界领先的实时内容创造与直播互动能力离不开有力的基础支撑，实时计算平台作为一个关键技术，发展历程主要分为四个阶段：

• 混沌期：在2019年之前，业务各自搭建实时计算引擎，导致技术栈的不统一和资源利用率不高。
• 统一期：2019年之后统一使用Flink，提供集中任务和资源的管理。主要采用jar包模式和config模式开发任务，具有基础运维保障。
• 完善期：引入Flinksql，实现了全球化能力支持海外业务的需要，任务从Yarn集群迁移到容器平台实现容器化，同时增加了实时数仓支持和完善任务监控保障。
• 转型期：转型期主要分为两个部分：服务化的转型和智能化的实践。

2. 平台架构概览

数据从各端采集进入Datahub之后流向数据湖，然后分流到离线数仓和实时数仓，最后在应用层使用。其中实时计算平台横跨了整个流程，应用于每个流程中。

02 核心SLA定义

转型期关注用户核心问题，平台化思维向服务化思维转型。

1. 平台和服务思维

平台思维主要关注平台的可用性、任务稳定性、信息全面性、监控完善性。在转型期中，虎牙实时计算平台更加关注用户关心的问题诉求，而减少其他问题对用户造成的干扰。

2. 核心SLA

用户在使用平台时，关注的问题不是任务的稳定性、平台的可用性，而是数据的时效性是否符合要求。于是实时计算平台定义了延时达标率作为核心SLA，对于不同时延需求进行不同的保障，从而对用户需求进行管理并进行统计。