公司使用了nodejs开发了一部分业务,使用pm2管理node进程。

但是总是莫名其妙的占用100%CPU,又一时查不出什么问题。

为了避免node进程占用100%CPU导致业务卡死情况,写了一个针对pm2 管理node.js进程的脚本。


大概方式:

使用pm2 json得到pm2 的当前信息。

如果发现pm2 的某一个进程占用CPU90%,并且5s内该进程对应的日志没有变化,则重启该进程。

算是治标不治本吧,先凑合用着。

使用:php pm2AutoCheck.php 2>&1 >/dev/null &

<?php
//crontab: ps -ef| grep -v grep | grep pmAutoCheck.php ;if [ $? -ne 0 ];then /usr/bin/php pmAutoCheck.php 2>&1 >/dev/null &;fi
set_time_limit(0);
//获取pm2信息
$comGetPm2Info="pm2 jlist";
$pm2OutPut = "";
$pm2OutPut=exec($comGetPm2Info);
//解析json
$pm2Info = json_decode($pm2OutPut,true);
$pm2InstanceNum = count($pm2Info);
//重启PM2进程
function restartPm2Instance($pm_id){
        $commRestart = "pm2 restart ".$pm_id;
        system($commRestart);
}
//通过检查日志是否有变化
//来确定PM2进程是否在处理请求
function isLogModified($pm2Info,$pm_id){
    $pm2InstanceLog = $pm2Info[$pm_id]['pm2_env']['pm_out_log_path'];
    if( file_exists($pm2InstanceLog)){
        $lastModified = filemtime($pm2InstanceLog);
        sleep(5);
        $newModified = filemtime($pm2InstanceLog);
        if( $newModified <= $lastModified ){
            echo "file not modifed";
            return 0;
        }else{
            return 1;
        }
          
    }else {
        return 2;
    }
}
//死循环,间隔60s来检查一次
while(1){
for( $i=0 ;$i<$pm2InstanceNum ;$i++){
    $pm2InstanceLoad = (int)round( $pm2Info[$i]['monit']['cpu']);
    $pm_id = $pm2Info[$i]['pm_id'];
    if( $pm2InstanceLoad >= 90 ){
        $needRestart = isLogModified($pm2Info,$pm_id);
        if( $needRestart == 0 ){
            restartPm2Instance($pm_id);
        }
    }
}
    sleep(60);
}