记两次Erlang服务器线上事故

这次的上线不太太平。虽然早就使用机器人进行了测试，也夸下海口理论上承载上万人不成问题，然而在上线前两天就发生了严重事故。尽管最终测试数据出乎意料的好，但整个项目为我们的傲慢和松懈付出了沉重的代价。被打脸之后，赶紧记一下以示警醒。

部分用户操作超时，大量用户进程启动失败

现象

游戏开放登陆之后，很快同时在线达到了1000左右。此时有玩家报告，部分交互操作出现了超时，并且在超时之后玩家登陆时服务器回报timeout错误。同时有玩家无法登陆，服务器根本就没有返回。我们立即查看了服务器机器的状态，此时内存和CPU的占用都绰绰有余，状态良好。使用etop查看Erlang中进程的状态，情况也没有异常，Reduction比较高的都是预料中的系统，消息队列中也没有太多积压。

查看日志之后，发现大量操作在对玩家进程进行gen_server:call()时就发生了超时，显然玩家进程在忙于做其他事情，而且也并未产生太高的Reduction。对阻塞的玩家进程调用process_info()后，能获得的信息非常有限。而无法登陆的错误，根本就没有明显的报错。

排查

我们意识到，用户操作超时就是由于有的用户进程启动失败造成的。我们的玩家有一些操作需要唤醒其他未登录玩家的进程，显然是需要被唤醒的玩家进程也出现了启动失败的情况。而