知乎启用AutoMQ替换Kafka，开辟成本优化与运维提效新纪元

作者：知乎在线架构组 王金龙

关于知乎

知乎公司，成立于 2010 年 8 月 10 日，于 2011 年 1 月 26 日正式上线，是中文互联网的高质量问答社区和创作者聚集的原创内容平台。

知乎起步于问答，而超越了问答。知乎以「生态第一」为战略，「专业讨论」为核心定位，构建起富有包容性和生命力的社区生态，覆盖热榜、知乎直答、想法、盐言故事、知乎知学堂、内容商业化解决方案等多种产品和功能，为用户、创作者和商业合作伙伴提供多样化的丰富体验。

立足于应用层和数据层的丰厚积累，知乎一直奋进于技术创新前沿，在 NLP、人工智能、中文语言大模型领域形成研发和应用优势，先后推出「智能社区」、「知海图 AI」大模型、知乎直答等技术战略和产品，为社区生态和用户体验持续赋能。

知乎在大规模运维 Kafka 集群时遇到的问题

存储服务的静态资源池不够灵活

我们原来基于云厂商的裸金属机器划分了消息队列的资源池。在业务流量上涨的场景下，负责热点流量的 Kafka 节点会导致存储节点磁盘空间快速到达水位线。这时需要对存储资源池进行扩容。

在扩容的过程中产生了两个问题：

1. 存储资源池需要进行数据均衡：在此期间有大量的数据需要在资源池内进行数据搬迁，耗时很长，产生了很大的运维成本。数据搬迁期间会触发大量的数据冷读，由于 Kafka 原生存储模型限制，单个分区数据只能保存在一块磁盘上，在数据迁移期间占用了非常多的磁盘带宽，新写入的消息因