Native Flink on Kubernetes 在小红书的实践

摘要：本文介绍了小红书基于 K8s 管理 Flink 任务的建设过程，以及往 Native Flink on K8s 方案迁移过程的一些实践经验。主要内容包括：

1. 多云部署架构

2. 业务场景

3. Helm 集群管理模式

4. Native Flink on Kubernetes

5. 流批一体作业管控平台

6. 未来展望

一、多云部署架构

上图是当前 Flink 集群多云部署模式图。业务数据分散在各个云厂商之上，为了适配业务数据处理，Flink 集群自然也进行了多云部署。这些云存储产品一方面用于内部的离线数据存储，另外一方面会用于 Flink 做 checkpoint 存储使用。

在这些云基础设施之上，我们搭建了 Flink 引擎支持 SQL 及 JAR 任务的运行，得益于之前做的一项推动任务 SQL 化的工作，当前内部 SQL 任务和 JAR 任务比例已经达到了 9:1。