本篇摘抄自网络,用于学习记录。这不是一篇教程,这是一篇笔记,所以我不会很系统地论述原理和实现,只简单说明和举例。
前言
我写这篇笔记的原因是现在网络上关于PHP遍历目录文件和PHP读取文本文件的教程和示例代码都是极其低效的,低效就算了,有的甚至好意思说是高效,实在辣眼睛。
这篇笔记主要解决这么几个问题:
PHP如何使用超低内存快速遍历数以万计的目录文件?
PHP如何使用超低内存快速读取几百MB甚至是GB级文件?
顺便解决哪天我忘了可以通过搜索引擎搜到我自己写的笔记来看看。(因为需要PHP写这两个功能的情况真的很少,我记性不好,免得忘了又重走一遍弯路)
遍历目录文件
网上关于这个方法的实现大多示例代码是glob或者opendir+readdir组合,在目录文件不多的情况下是没问题的,但文件一多就有问题了(这里是指封装成函数统一返回一个数组的时候),过大的数组会要求使用超大内存,不仅导致速度慢,而且内存不足的时候直接就崩溃了。
这时候正确的实现方法是使用yield关键字返回,下面是我最近使用的代码:
// $includeDirs=true时返回内容包括子文件夹
function glob2foreach($path, $includeDirs=false) {
$path = rtrim($path, '/*');
if (is_readable($path)) {
$od = opendir($path);
while (($file = readdir($od)) !== false) {
if (substr($file, 0, 1) == '.')
continue;
$rfile = "{$path}/{$file}";
if (is_dir($rfile)) {
$sub = glob2foreach($rfile, $includeDirs);
while ($sub->valid()) {
yield $sub->current();
$sub->next();
}
if ($includeDirs)
yield $rfile;
} else {
yield $rfile;
}
}
closedir($od);
}
}
// 使用
$glob = glob2foreach('/home/work/php-script/gp');
while ($glob->valid()) {
// 当前文件
$fileName = $glob->current();
// 包括路径在内的完整文件名
echo $fileName.PHP_EOL;
// 指向下一个,不能少
$glob->next();
}
yield返回的是生成器对象(不了解的可以先去了解一下PHP生成器),并没有立即生成数组,所以目录下文件再多也不会出现巨无霸数组的情况,内存消耗是低到可以忽略不计的几十kb级别,时间消耗也几乎只有循环消耗。
读取文本文件
读取文本文件的情况跟遍历目录文件其实类似,网上教程基本上都是使用file_get_contents读到内存里或者fopen+feof+fgetc组合即读即用,处理小文件的时候没问题,但是处理大文件就有内存不足等问题了,用file_get_contents去读几百MB的文件几乎就是自杀。
这个问题的正确处理方法同样和yield关键字有关,通过yield逐行处理,或者SplFileObject从指定位置读取。
逐行读取整个文件:
function effReadFile($path){
if($handle = fopen($path, 'r')){
// 函数检查是否已到达文件末尾
while(!feof($handle)){
yield trim(fgets($handle));
}
fclose($handle);
}
}
// 使用
$glob = effReadFile('/home/work/php-script/dyp/ttt.txt');
while ($glob->valid()) {
// 当前行文本
$line = $glob->current();
// 逐行处理数据
echo $line.PHP_EOL;
// 指向下一个,不能少
$glob->next();
}
通过yield逐行读取文件,具体使用多少内存取决于每一行的数据量有多大,如果是每行只有几百字节的日志文件,即使这个文件超过100M,占用内存也只是KB级别。
但很多时候我们并不需要一次性读完整个文件,比如当我们想分页读取一个1G大小的日志文件的时候,可能想第一页读取前面1000行,第二页读取第1000行到2000行,这时候就不能用上面的方法了,因为那方法虽然占用内存低,但是数以万计的循环是需要消耗时间的。
这时候,就改用SplFileObject处理,SplFileObject可以从指定行数开始读取。下面例子是写入数组返回,可以根据自己业务决定要不要写入数组,我懒得改了。
// 读取文件生成数组
// $path 文件路径 $count 读取行数 $offset 从指定的行开始读
function readFileToArr($path, $count, $offset = 0){
$arr = array();
if (!is_readable($path))
return $arr;
$fp = new SplFileObject($path, 'r');
// 定位到指定的行开始读
if ($offset)
$fp->seek($offset);
$i = 0;
while (!$fp->eof()) {
// 必须放在开头
$i++;
// $count 读取行数
if ($i > $count)
break;
$line = $fp->current();
$line = trim($line);
$arr[] = $line;
// 指向下一个,不能少
$fp->next();
}
return $arr;
}
// 使用
$ret = readFileToArr('/home/work/php-script/dyp/ttt.txt', 3);
var_dump($ret);
以上所说的都是文件巨大但是每一行数据量都很小的情况,有时候情况不是这样,有时候是一行数据也有上百MB,那这该怎么处理呢?
如果是这种情况,那就要看具体业务了,SplFileObject是可以通过fseek定位到字符位置(注意,跟seek定位到行数不一样),然后通过fread读取指定长度的字符。
也就是说通过fseek和fread是可以实现分段读取一个超长字符串的,也就是可以实现超低内存处理,但是具体要怎么做还是得看具体业务要求允许你怎么做。
复制大文件
顺便说下PHP复制文件,复制小文件用copy函数是没问题的,复制大文件的话还是用数据流好,例子如下:
// 复制大文件
function copyBigFile($oldFile, $newFile) {
if (!is_readable($oldFile))
return false;
if(!is_dir(dirname($newFile)))
@mkdir(dirname($newFile).'/', 0777, TRUE);
if (($handle1 = fopen($oldFile, 'r')) && ($handle2 = fopen($newFile, 'w'))) {
stream_copy_to_stream($handle1, $handle2);
fclose($handle1);
fclose($handle2);
}
return true;
}
// 使用
$oldFile = '/home/work/php-script/dyp/ttt.txt';
$newFile = '/home/work/php-script/dyp/test/ttt2.txt';
copyBigFile($oldFile, $newFile);
最后
我这只说结论,没有展示测试数据,可能难以服众,如果你持怀疑态度想求证,可以用memory_get_peak_usage和microtime去测一下代码的占用内存和运行时间。