php 遍历文件夹会阻塞服务器,PHP超低内存遍历目录文件和读取超大文件的方法...

最新推荐文章于 2024-03-03 16:34:27 发布

约什

最新推荐文章于 2024-03-03 16:34:27 发布

阅读量151

点赞数

文章标签： php 遍历文件夹会阻塞服务器

本文介绍了如何使用PHP进行高效的大文件读取和目录遍历，避免内存不足的问题。针对大量目录文件，使用yield关键字的生成器实现遍历，降低内存消耗。对于大文件读取，同样利用yield逐行处理或使用SplFileObject从指定位置读取，以减少内存占用。此外，还提供了大文件复制的解决方案。

摘要由CSDN通过智能技术生成

这不是一篇教程，这是一篇笔记，所以我不会很系统地论述原理和实现，只简单说明和举例。

前言

我写这篇笔记的原因是现在网络上关于 PHP 遍历目录文件和 PHP 读取文本文件的教程和示例代码都是极其低效的，低效就算了，有的甚至好意思说是高效，实在辣眼睛。

这篇笔记主要解决这么几个问题：

PHP 如何使用超低内存快速遍历数以万计的目录文件？

PHP 如何使用超低内存快速读取几百MB甚至是GB级文件？

顺便解决哪天我忘了可以通过搜索引擎搜到我自己写的笔记来看看。(因为需要 PHP 写这两个功能的情况真的很少，我记性不好，免得忘了又重走一遍弯路)

遍历目录文件

网上关于这个方法的实现大多示例代码是 glob 或者 opendir + readdir 组合，在目录文件不多的情况下是没问题的，但文件一多就有问题了(这里是指封装成函数统一返回一个数组的时候)，过大的数组会要求使用超大内存，不仅导致速度慢，而且内存不足的时候直接就崩溃了。

这时候正确的实现方法是使用 yield 关键字返回，下面是我最近使用的代码：

function glob2foreach($path, $include_dirs=false) {

$path = rtrim($path, '/*');

if (is_readable($path)) {

$dh = opendir($path);

while (($file = readdir($dh)) !== false) {

if (substr($file, 0, 1) == '.')

continue;

$rfile = "{$path}/{$file}";

if (is_dir($rfile)) {

$sub = glob2foreach($rfile, $include_dirs);

while ($sub->valid()) {

yield $sub->current();

$sub->next();

}

if ($include_dirs)

yield $rfile;

} else {

yield $rfile;

}

closedir($dh);

}

// 使用

$glob = glob2foreach('/var/www');

while ($glob->valid()) {

// 当前文件

$filename = $glob->current();

// 这个就是包括路径在内的完整文件名了

// echo $filename;

// 指向下一个，不能少

$glob->next();

}

yield 返回的是生成器对象(不了解的可以先去了解一下 PHP 生成器)，并没有立即生成数组，所以目录下文件再多也不会出现巨无霸数组的情况，内存消耗是低到可以忽略不计的几十 kb 级别，时间消耗也几乎只有循环消耗。

读取文本文件

读取文本文件的情况跟遍历目录文件其实类似，网上教程基本上都是使用 file_get_contents 读到内存里或者 fopen + feof + fgetc 组合即读即用，处理小文件的时候没问题，但是处理大文件就有内存不足等问题了，用 file_get_contents 去读几百MB的文件几乎就是自杀。

这个问题的正确处理方法同样和 yield 关键字有关，通过 yield 逐行处理，或者 SplFileObject 从指定位置读取。

逐行读取整个文件：

function read_file($path) {

if ($handle = fopen($path, 'r')) {

while (! feof($handle)) {

yield trim(fgets($handle));

}

fclose($handle);

}

// 使用

$glob = read_file('/var/www/hello.txt');

while ($glob->valid()) {