PHP curl下载文件内存溢出

最近一段时间系统老是出现 php 触发 oom,查看了一下日志,发现输出内容是

kernel: [436798.227293] Out of memory: Kill process 11926 (php) score 366 or sacrifice child
 [436798.228644] Killed process 11926 (php), UID 1002, total-vm:6092892kB, anon-rss:5849000kB, file-rss:1760kB, shmem-rss:2052kB

由PHP触发的,检查了一下相应的内存和网络监控,发现在网络流量比较大的时候就会触发oom,所以联想到了可能是PHP的一个下载服务有问题。

原下载方法是这样的:

//下载文件
    public static function download( $url, $filename){
        $ch = curl_init();  
        curl_setopt($ch, CURLOPT_URL, $url);  
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);    
        curl_setopt($ch, CURLOPT_BINARYTRANSFER, true);  
        $buffer = curl_exec($ch);
        $buffer_len = strlen($buffer);
        if($buffer_len > 0){
            file_put_contents($filename, $buffer);
        }else{
           //insertLog($url." 下载不了", "timer");
        }
        curl_close($ch);
        return $buffer_len;
    }

这样会将整个文件留先缓存在内存里面,在未close之前会占用整个内存。

所以最终优化了两点:
1.curl下载文件时直接使用CURLOPT_FILE将流写入到文件。
2.给curl增加下载限速CURLOPT_MAX_RECV_SPEED_LARGE。
问题迎刃而解

以下是优化后的代码:

public static function download($url, $filename){	
        $ch = curl_init(); 
		$fp = fopen($filename, 'w');
        curl_setopt($ch, CURLOPT_URL, $url);  
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);    
        curl_setopt($ch, CURLOPT_BINARYTRANSFER, false);
		curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
		curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
		curl_setopt($ch, CURLOPT_MAX_RECV_SPEED_LARGE, 20000000);	//约19M
		curl_setopt($ch, CURLOPT_FILE, $fp);	
        curl_exec($ch);
        curl_close($ch);
		fclose($fp);
		
		//计算文件大小
		$buffer_len = file_exists($filename) ? filesize($filename) : 0
		if($buffer_len == 0) insertLog($url." 下载不了", "task");
        return $buffer_len;
    }
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jewe_Wang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值