PHP读取大文件的类SplFileObject 【笔记】

一般读取文件我们用fopen 或者 file_get_contents ,前者可以循环读取,后者可以一次性读取,但都是将文件内容一次性加载来操作。

如果加载的文件特别大时,如几百M,上G时,这时性能就降下来了,那么PHP里有没有对大文件的处理函数或者类呢? 答案是:有的。
PHP真的越来越“面向对象”了,一些原有的基础的SPL方法都开始陆续地实现出class了。
从 PHP 5.1.0 开始,SPL 库增加了 SplFileObject 与 SplFileInfo 两个标准的文件操作类。SplFileInfo 是从 PHP 5.1.2 开始实现的。
从字面意思理解看,可以看出 SplFileObject 要比 SplFileInfo 更为强大。
不错,SplFileInfo 仅用于获取文件的一些属性信息,如文件大小、文件访问时间、文件修改时间、后缀名等值,而 SplFileObject 是继承 SplFileInfo 这些功能的。

/** 返回文件从X行到Y行的内容(支持php5、php4)  
 * @param string $filename 文件名
 * @param int $startLine 开始的行数
 * @param int $endLine 结束的行数
 * @return string
 */
function getFileLines($filename, $startLine = 1, $endLine=50, $method='rb') {
    $content = array();
    $count = $endLine - $startLine;  
    // 判断php版本(因为要用到SplFileObject,PHP>=5.1.0)
    if(version_compare(PHP_VERSION, '5.1.0', '>=')){
        $fp = new SplFileObject($filename, $method);
        $fp->seek($startLine-1);// 转到第N行, seek方法参数从0开始计数
        for($i = 0; $i <= $count; ++$i) {
            $content[]=$fp->current();// current()获取当前行内容
            $fp->next();// 下一行
        }
    }else{//PHP<5.1
        $fp = fopen($filename, $method);
        if(!$fp) return 'error:can not read file';
        for ($i=1;$i<$startLine;++$i) {// 跳过前$startLine行
            fgets($fp);
        }
        for($i;$i<=$endLine;++$i){
            $content[]=fgets($fp);// 读取文件行内容
        }
        fclose($fp);
    }
    return array_filter($content); // array_filter过滤:false,null,''
}

Ps: 上面都没加”读取到末尾的判断”:!$fp->eof() 或者 !feof($fp),加上这个判断影响效率,自己加上测试很多很多很多行的运行时间就晓得了,而且这里加上也完全没必要。
从上面的函数就可以看出来使用SplFileObject比下面的fgets要快多了,特别是文件行数非常多、并且要取后面的内容的时候。fgets要两个循环才可以,并且要循环$endLine次。
此方法花了不少功夫,测试了很多中写法,就是想得出效率最高的方法。哪位觉得有值得改进的欢迎赐教。
使用,返回35270行-35280行的内容:


echo '<pre>';
var_dump(getFileLines('test.php',35270,35280));
echo '</pre>'; 

 

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Sure! 使用 `SplFileObject` 读取超大文件可以避免将整个文件加载到内存中,而是使用迭代器来逐行读取文件内容,从而减少内存占用。 以下是一个示例代码,可以读取一个超大的文本文件: ```php $file = new SplFileObject('path/to/large/file.txt'); // 设置读取方式为迭代器模式 $file->setFlags(SplFileObject::READ_AHEAD | SplFileObject::SKIP_EMPTY | SplFileObject::DROP_NEW_LINE); // 逐行读取文件内容 foreach ($file as $line) { // 处理每一行的内容 echo $line; } ``` 在上面的代码中,我们首先使用 `SplFileObject` 创建了一个文件对象,并使用 `setFlags` 方法将其设置为迭代器模式。接着,我们使用 `foreach` 循环遍历文件对象,从而逐行读取文件内容并对每一行进行处理。 需要注意的是,如果文件过大,可能会导致内存溢出。为了避免这种情况,可以使用 `SplFileObject::fread()` 方法来读取固定大小的数据块,并在处理完每个数据块后释放内存。下面是一个示例代码: ```php $file = new SplFileObject('path/to/large/file.txt'); $chunkSize = 1024; // 读取的数据块大小 // 设置读取方式为二进制模式 $file->setFlags(SplFileObject::READ_BINARY); while (!$file->eof()) { $data = $file->fread($chunkSize); // 处理读取的数据块 echo $data; // 释放内存 unset($data); } ``` 在上面的代码中,我们使用 `SplFileObject::fread()` 方法读取固定大小的数据块,并在处理完每个数据块后使用 `unset()` 函数释放内存。这样可以避免内存溢出的问题。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值