GitLab故障排查

买了一台云服务器做GitLab服务器管理版本。

服务器配置：

cpu：4核

内存：8G

硬盘：1.5T

Gitlab版本：15.5.3

操作系统：Tencent 3.1（相当于CentOS8）

发布第一个版本时就出问题了。

服务器卡死。10多分钟后没忍住，按电源重启了。

再发布一次，依旧...

服务器卡死的同时，监控软件也不能正常工作，cpu信息已经无法获得。

不过耐心等待中，发现还是有监控信息可看。

其中两项有异常。

内存使用量99%，硬盘IO繁忙比率100%

大约30分钟，终端终于可以解除卡死状态。

陆续发布了几次，问题一如既往如出一辙。

由于远程已经卡死，没法做任何操作，于是再卡死的时候，尝试使用vnc方式登录服务器。

进入vnc界面，果然看到进一步信息，屏幕提示：out of memory

问题基本锁定了，内存不足。

由于内存不足，导致虚拟内存压力变大，导致硬盘IO暴涨。

知道问题缘由就好办了，马上升级内存。

升级后重启系统，问题消失。

顺便说一句：内存升级前因为GliLab经常卡死，导致服务器没法正常操作。所以采取了定时开启关闭GitLab的笨办法，让服务器有操作的机会。

gitlab-ctl start && sleep 900 && gitlab-ctl stop