先是创建一个大文件
cat test.log >> test.log
当然前提是test.log本身有内容,如果你一不留神,可能你的文件已经很大了,所以最好立即ctrl+c
ok,现在搞定了一个大文件。让我们先试试直接读取文件的方式
<?php
$begin = microtime(true);
file('./test.log');
$end = microtime(true);
echo ($end-$begin).PHP_EOL;
PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 1324870912 bytes) in /data/www/magpie/test.php on line 3
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 1324870912 bytes) in /data/www/magpie/test.php on line 3
如果报这个错,恭喜你,说明你的配置文件较小,当然你也可以修改配置文件,但是这已经脱离今天的主题了,那我们进阶一下,
一个字符一个字符读取文件,这就需要用到fgetc函数
<?php
$begin = microtime(true);
$fp = fopen('./test.log', 'r+');
while (false !== fgetc($fp)) {
}
fclose($fp);
$end = microtime(true);
echo ($end-$begin).PHP_EOL;
这样我们就可以成功的读取大文件,本文结束。。。哈哈,开个玩笑,你会发现,读取的很慢很慢。。。
我自己试了一下,本地的1.2G文件,用这种方式读取,需要花费51秒,太慢了,我们还需要进阶
可以一个字符一个字符,那我们也可以一行一行的读取文件,这就需要fgets函数
<?php
$begin = microtime(true);
$fp = fopen('./test.log', 'r+');
while (false !== fgets($fp)) {
}
if (!feof($fp)) {
echo "Error: unexpected fgets() fails \n";
}
fclose($fp);
$end = microtime(true);
echo ($end-$begin).PHP_EOL;
呲溜一下,秒读取完,是不是成就感满满,我本地尝试用这种方式,只需要1秒左右,就可以读取完,效率提升贼猛,
不过我们还没有结束,我们搞搞别的方式,比如可以一行一行,那能不能我们在不超过配置内存的上限,一定容量的读取呢
<?php
$begin = microtime(true);
$fp = fopen('./test.log','r+');
while (!feof($fp)) {
fread($fp, 10240);
}
fclose($fp);
$end = microtime(true);
echo ($end-$begin).PHP_EOL;
执行之后,我们会发现,又快了一些,我本地跑了一下,0.5秒左右,又提升了一倍,很开心。
但是善于搞事情的我,怎么能善罢甘休呢,把问题搞一下,我们读取大文件的最后五行内容,虽然我们还可以用fread函数解决,但是会不会有些蠢,这样我们可以尝试使用ftell和fseek两个函数
<?php
$line = 5;
$pos = -1;
$ch = '';
$contents = '';
$fp = fopen('./test.log', 'r+');
while ($line > 0) {
while ($ch != "\n") {
fseek($fp, $pos, SEEK_END);
$ch = fgetc($fp);
$pos--;
}
$ch = '';
$contents .= fgets($fp);
$line--;
}
echo $contents;
ok,总算完事了