搞一波php读取大文件

 

先是创建一个大文件

cat test.log >> test.log

 当然前提是test.log本身有内容，如果你一不留神，可能你的文件已经很大了，所以最好立即ctrl+c

ok，现在搞定了一个大文件。让我们先试试直接读取文件的方式

<?php
$begin = microtime(true);
file('./test.log');
$end = microtime(true);
echo ($end-$begin).PHP_EOL;

PHP Fatal error:  Allowed memory size of 134217728 bytes exhausted (tried to allocate 1324870912 bytes) in /data/www/magpie/test.php on line 3

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 1324870912 bytes) in /data/www/magpie/test.php on line 3

如果报这个错，恭喜你，说明你的配置文件较小，当然你也可以修改配置文件，但是这已经脱离今天的主题了，那我们进阶一下，

一个字符一个字符读取文件，这就需要用到fgetc函数

<?php
$begin = microtime(true);
$fp = fopen('./test.log', 'r+');
while (false !== fgetc($fp)) {
        
}
fclose($fp);
$end = microtime(true);
echo ($end-$begin).PHP_EOL;

这样我们就可以成功的读取大文件，本文结束。。。哈哈，开个玩笑，你会发现，读取的很慢很慢。。。

我自己试了一下，本地的1.2G文件，用这种方式读取，需要花费51秒，太慢了，我们还需要进阶

可以一个字符一个字符，那我们也可以一行一行的读取文件，这就需要fgets函数

<?php
$begin = microtime(true);
$fp = fopen('./test.log', 'r+');
while (false !== fgets($fp)) {
}
if (!feof($fp)) {
    echo "Error: unexpected fgets() fails \n";
} 
fclose($fp);
$end = microtime(true);
echo ($end-$begin).PHP_EOL;

呲溜一下，秒读取完，是不是成就感满满，我本地尝试用这种方式，只需要1秒左右，就可以读取完，效率提升贼猛，

不过我们还没有结束，我们搞搞别的方式，比如可以一行一行，那能不能我们在不超过配置内存的上限，一定容量的读取呢

<?php
$begin = microtime(true);
$fp = fopen('./test.log','r+');

while (!feof($fp)) {
    fread($fp, 10240);
}

fclose($fp);
$end = microtime(true);
echo ($end-$begin).PHP_EOL;

执行之后，我们会发现，又快了一些，我本地跑了一下，0.5秒左右，又提升了一倍，很开心。

但是善于搞事情的我，怎么能善罢甘休呢，把问题搞一下，我们读取大文件的最后五行内容，虽然我们还可以用fread函数解决，但是会不会有些蠢，这样我们可以尝试使用ftell和fseek两个函数

<?php
$line = 5;
$pos = -1;
$ch = '';
$contents = '';
$fp = fopen('./test.log', 'r+');
while ($line > 0) {
    while ($ch != "\n") {
        fseek($fp, $pos, SEEK_END);
        $ch = fgetc($fp);
        $pos--;
    }
    $ch = '';
    $contents .= fgets($fp);
    $line--;
}
echo $contents;

ok,总算完事了