内存利用率优化与数据中心稳定性的平衡术——对话字节跳动李泽帆

CSDN资讯

于 2024-11-26 14:56:50 发布

阅读量4k

点赞数 10

文章标签：数据分析

本文链接：https://blog.csdn.net/csdnnews/article/details/144059213

版权

2024 年 10 月 26 日，第 19 届中国 Linux 内核开发者大会于湖北武汉成功举办。大会以“自由，协作，创新”为理念，以开源技术的推广和普及为使命，旨在促进 Linux 内核开发爱好者相互交流、共同进步，是中国 Linux 内核领域颇有影响力的峰会之一。

此次大会上，字节跳动内核负责人李泽帆以“从内核的角度压榨内存”为题，从常用的内存占用问题和优化问题入手，介绍了目前存在的诸多内存大量占用的难点和痛点，并提出了字节跳动在社区中对内存进行优化的一些方法和进展，以及基于 CXL 的未来内存优化方向。

会后，CSDN 对李泽帆进行了专访，围绕内存利用率优化与数据中心稳定性展开探讨，旨在通过他的专业视角，为读者深入剖析当前数据中心在内存管理领域所面临的趋势与挑战，并揭示字节跳动在这一领域的创新实践与卓越贡献。

一、“内存优化可能会带来新的稳定性风险”

CSDN：您认为当前数据中心在内存利用方面面临的最大挑战是什么？新 CPU 架构（如 AMD Geona 的 384 核）的推出，对内存需求与成本平衡带来了哪些新挑战？

李泽帆：当前，新服务器的 CPU 核数正在成倍数增长，但内存受成本等因素的限制无法同比例增长，而应用对内存的需求更是有增无减，这样就带来了不少问题。

一方面，内存不足带来了各种稳定性风险，包括业务延迟抖动严重、业务长时间卡顿无法响应用户请求、进程被随机杀死等；另一方面，由于内存不足，大量机器的 CPU 利用率较低，也即服务器的计算资源存在大量空置。

CSDN：您提到内存不足在数据中心是常见情况，那内存优化面临着一些什么问题（例如业务延迟抖动和进程卡顿等），要如何解决？

李泽帆：内存优化使系统的可用内存显著提升，在节约成本的同时，也能减少由于内存紧张导致的稳定性问题。但有一些优化手段也会带来新的稳定性风险，例如使用了冷内存卸载的方案后，如果业务突然访问大量被卸载的内存，那业务的响应延迟可能会变得很高。因此，我们上线的每一个优化方案，都和上层容器调度平台共同做了配套的监控措施。除此之外，我们还设计了兜底预案，例如可以一键关闭某个优化方案。

CSDN：内存泄漏对系统稳定性的影响有多大？如何有效监测和预防？

李泽帆：内存泄漏往往是日积月累的，因此很少会造成突发的大面积事故，但是会使很多机器不知不觉处于不稳定状态，因此也不容小觑。对此，我们对一些关键数据做了监控，例如 memory cgroup 的数据如果超过大几千，一般就是异常现象。

二、字节跳动：自研内存管理优化黑科技

CSDN：字节在内存利用率优化方面有哪些创新？社区中有哪些其他值得关注的内存优化项目或成果？

李泽帆：字节主要做了三个原创性的工作：其一，对 HugeTLB 大页优化了 99% 的 struct page 开销；其二，优化了 LRU 链表在有大量 cgroup 下的内存占用；其三，主动回收空的 PTE 页表。

社区专门在内存优化上做的项目并不多，目前比较值得关注的主要是 Oracle 尝试共享不同进程的相同页表，以及 Google 计划将字节的 HVO 大页优化应用到基于 large folio 的灵活透明大页（flexable THP）上。另外，Meta 成功地将 KSM（Kernel Samepage Merging）应用到他们的业务中，将会极大地激发开发者探索 KSM 在数据中心应用方向上的兴趣。

CSDN：字节在用户态内存卸载方面有哪些实践经验和成果？

李泽帆：虽然 Google 和 Meta 都通过论文分享了他们内存卸载的方案，但其实这些论文缺乏技术细节，而正是这些细节决定了方案能否在真实的业务上发挥良好作用。字节在实践中针对业务环境做了一些优化，例如增加更多的指标判断业务的内存压力，而不只是依赖 PSI；另外，通过“zram+zswap”实现内存多级卸载，节省了更多的内存。目前，内存卸载方案已经在字节上线数十万服务器，节省了近 10PB 内存，并且还在持续优化和上线中。