基于 Kubernetes Operator 的网易数帆生产级云原生中间件实践

在近日的 ArchSummit 全球架构师峰会 2021 上海站上，继网易副总裁、杭研院执行院长、互联网技术委员会主席、网易数帆总经理汪源发表主题演讲《打造开放的云原生操作系统和系统软件架构》之后，网易技术委员会委员、网易数帆基础架构总监张晓龙向与会者进一步讲述了网易数帆在云原生中间件上的思考、实现与经验。本文为演讲内容实录。

今天给大家分享我们面向生产环境的中间件容器化实践，主要包括四个部分的内容：

第一部分从基础中间件面临的运维挑战出发，介绍网易解决这些挑战的技术演进路径，以及为什么要去做中间件容器化。

第二部分介绍中间件容器化的需求以及网易数帆整体平台架构。

第三部分针对中间件容器化过程中的一些共性问题，给出我们的思考，以及最佳实践。

最后是中间件容器化工作的总结和未来的计划。

基础中间件的挑战

在容器技术出来之前，基础中间件技术如 MySQL、Redis、Kafka 等早已开源，并成为服务端架构设计的标准组件，一个典型的互联网应用，数据库、缓存、消息队列三大中间件是必不可少的。

架构师应用这些中间件去架构一个个应用平台非常简单，但运维人员遇到了较大的问题，包括如下 5 个方面：

1. 中间件本身是比较复杂的分布式系统，运维需要理解这些分布式系统的工作原理，编写出适合它们的运维脚本，复杂性非常高；

2. 运维效率比较低下，50 个以下 MySQL 实例用手工运维可能没有问题，但 500、1000 个数据库实例，或者如网易云音乐的数千个 Redis 实例，如果还用手工脚本来运维，效率必然很低；

3. 稳定性不足，这是由于运维人员总是用手工脚本来运维，在线上抄命令，不小心抄错命令可能中间件就宕了；

4. 传统的中间件是部署在物理机上面的，而物理机制没办法提供很强的资源弹性；

5. 所有比较资深的中间件运维都基本上在互联网上大厂，因为这些运维非常复杂，一般企业很难招到一个非常专业的运维，我们认为解决这个挑战的最佳实践，是将中间件运维能力云服务化。

将这些中间件做成云服务有几个优势。第一是运维简单易上手，第二能够高效地实现大批量实例的自动化运维，第三有很强的 SLA 保障，因为不需要敲太多手工的一个命令。第四是能借助 IaaS 弹性资源能力快速扩容。最后因为整个运维变得简单，不再需要大量的专业人员就可以帮业务运维好中间件。

其实公有云厂商也看到了这个趋势，国内三大主流公有云都把开源的基础中间件做成了云服务。我想这主要有两个原因：首先，IaaS 资源层面竞争趋于同质化，把 PaaS 中间件做成云服务可以消耗更多的资源，把用户绑定得更深；其次，中间件作为云上的增值服务，毛利率远高于云主机、云硬盘，所以很多公有云用户不喜欢 RDS，自己买云主机搭 MySQL。

为了解决中间件运维复杂性的挑战，网易在六七年前就研发了一个云基础中间件平台。这个平台有一些技术特点，首先是基于 IaaS 提供资源弹性，也就是说中间件运行的计算资源是云主机，存储资源是云盘，网络资源可能就是在租户的 VPC 里面。

第二它采用了 IaaS 的租户隔离策略，如果一个租户想要中间件实例，平台就用他的云主机、云硬盘自动化地帮他搭起来，可以做到不同租户之间很好的隔离。

我们当时研发了 6 款基础中间件云服务，业务团队研发产品需要中间件，它只需要接入这些云服务就可以了，不需要重新做一遍。我们主要做的是左边的控制管理部分，比如实例高可用、部署安装、实例管理等。当时我们也取得了一些成效，大大提升了运维团队对中间件的运维能力。

随着时间的推移，第一代基础中间件暴露出了三大缺陷，难以解决。第一大缺