接续
如何在云端平台上建立 30,000 名用户的网页 MMO游戏环境
如何在云端平台上建立 30,000 名用户的网页 MMO游戏环境-2 (服务器)
如何在云端平台上建立 30,000 名用户的网页 MMO游戏环境-3 (OOM Killer 问题)
如何在云端平台上建立 30,000 名用户的网页 MMO游戏环境-4 (OOM Killer 问题與雲平台!?)
这是个有点蠢的错误。
经过一系列的日志、数据监控和验证,我们最终找到了问题的原因:
边缘伺服器正在以过载阈值运行。当云端平台分配硬体资源时,网路波动可能会导致资源累积,进而产生滚雪球效应。
在我们的RPC操作中,大量使用了协程技术,导致每次RPC都会占用一块记忆体。边缘伺服器每秒处理 20,000 到 30,000 个网路 I/O 操作。一旦产生滚雪球效应,就会很快耗尽记忆体资源。
没能体认到这个问题,源自于我对CPU超线程的误解。在每个边缘伺服器上,有 1,100 个连接,CPU 使用率显示约为 55-60%。这让我误以为还有多余的 CPU 容量。但事实上,没有。这个问题是由于我们的底层系统采用无锁程式设计开发的。当伺服器满载时,它会消耗掉CPU核心的所有运算资源。
所谓的2C4T其实只有两个计算核心。但由于系统是根据超线程数来计算CPU使用率的,因此单凭CPU使用率来观察会导致对实际负载的误解。
未来我们将根据进程和执行绪的运算负载以及事件的平均完成时间来评估系统负载,而不是依赖 CPU 使用率来计算。
希望其他想突破游戏伺服器极限的开发人员不要也踩雷。