PHP读取大文件，linux读取日志

2019独角兽企业重金招聘Python工程师标准>>>

工作中遇到一个问题，运营或客服经常会问一些用户使用中的问题涉及到日志查询，开始的时候来一个给查一下日志。。后来发现每天都会问个五六次。。没办法后来就给弄了个读日志的工具。

读着读着发现有时候会出现挂掉的情况，不频发而且也不是对外的功能就没当回事儿，但是后来将多台服务器的日志互相做了软链整合之后发现基本每次查询都会挂掉，逐找时间排查问题。

看了眼异常日志发现日志过大，原来搜索日志的方法比较简单粗暴，直接读取后存入数组再遍历匹配。但是这样操作现在每天的日志都上几百兆了明显不可行了，后来想着日志再次细分一下吧，把一些相对比较大的日志按照类型再次划分了目录，但是想了想如果流量比现在大的话即使细分了也还是可能会出现问题。

想了想方案，后来觉得还是用linux的grep来处理比较方便快捷，代码如下：

if ($search['keyword'] != ''){
    $file_dir = 'log/'.$path.'.log';
    if (!is_file($file_dir))goto index;
    $info = shell_exec("grep -A 3 ".$search['keyword'].' '.$file_dir);
    if (empty($info))goto index;
    $ret = explode(PHP_EOL,$info);
}

主要是利用shell_exec来执行grep返回搜索值，没具体算过时间，但是二百多兆的文件也都能在一秒内处理完。

 

转载于:https://my.oschina.net/u/3538113/blog/3001663