最近一段时间系统老是出现 php 触发 oom,查看了一下日志,发现输出内容是
kernel: [436798.227293] Out of memory: Kill process 11926 (php) score 366 or sacrifice child
[436798.228644] Killed process 11926 (php), UID 1002, total-vm:6092892kB, anon-rss:5849000kB, file-rss:1760kB, shmem-rss:2052kB
由PHP触发的,检查了一下相应的内存和网络监控,发现在网络流量比较大的时候就会触发oom,所以联想到了可能是PHP的一个下载服务有问题。
原下载方法是这样的:
//下载文件
public static function download( $url, $filename){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_BINARYTRANSFER, true);
$buffer = curl_exec($ch);
$buffer_len = strlen($buffer);
if($buffer_len > 0){
file_put_contents($filename, $buffer);
}else{
//insertLog($url." 下载不了", "timer");
}
curl_close($ch);
return $buffer_len;
}
这样会将整个文件留先缓存在内存里面,在未close之前会占用整个内存。
所以最终优化了两点:
1.curl下载文件时直接使用CURLOPT_FILE将流写入到文件。
2.给curl增加下载限速CURLOPT_MAX_RECV_SPEED_LARGE。
问题迎刃而解
以下是优化后的代码:
public static function download($url, $filename){
$ch = curl_init();
$fp = fopen($filename, 'w');
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_BINARYTRANSFER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch, CURLOPT_MAX_RECV_SPEED_LARGE, 20000000); //约19M
curl_setopt($ch, CURLOPT_FILE, $fp);
curl_exec($ch);
curl_close($ch);
fclose($fp);
//计算文件大小
$buffer_len = file_exists($filename) ? filesize($filename) : 0
if($buffer_len == 0) insertLog($url." 下载不了", "task");
return $buffer_len;
}