PHP海量excel数据导出方案解决 xlswriter性能测试

最新推荐文章于 2024-08-31 07:21:31 发布

zh7314

最新推荐文章于 2024-08-31 07:21:31 发布

阅读量807

点赞数

文章标签：队列 java php 数据库 linux

本文链接：https://blog.csdn.net/zh7314/article/details/117393983

版权

本文探讨了在Laravel环境中使用Excel操作时，如何通过设置内存限制、opcache优化和数据分批处理来提高11万数据导入效率。作者还比较了CSV、SQL导出和异步队列等解决方案，并提供了优化建议。

摘要由CSDN通过智能技术生成

2021年5月28日19:29:20

xlswriter 中文官方网站 https://xlswriter-docs.viest.me/zh-cn

windows10 环境laravel8 mysql8

第一次执行会慢一点，第二次就更快一点，服务器上开了opcache估计会更快一点

public function test(Request $request)
    {
        $start_time = date('Y-m-d H:i:s');

        ini_set('memory_limit', '1024m');
        $config = [
            'path' => public_path() . '/upload' // xlsx文件保存路径
        ];
        $excel = new Excel($config);

        $textFile = $excel->fileName("free.xlsx")->header(['id', 'name', 'phone', 'source', 'province_name', 'city_name', 'data_time', 'user_id', 'user_nickname', 'register_time', 'up_user_id', 'store_name', 'is_pull_new']);
        //大约11万数据
        foreach (BrokerMemberData::get() as $k => $v) {

            $textFile->insertText($k+1, 0, $v->id);
            $textFile->insertText($k+1, 1, $v->name);
            $textFile->insertText($k+1, 2, $v->phone);
            $textFile->insertText($k+1, 3, $v->source);
            $textFile->insertText($k+1, 4, $v->province_name);
            $textFile->insertText($k+1, 5, $v->city_name);
            $textFile->insertText($k+1, 6, $v->data_time);
            $textFile->insertText($k+1, 7, $v->user_id);
            $textFile->insertText($k+1, 8, $v->user_nickname);
            $textFile->insertText($k+1, 9, $v->register_time);
            $textFile->insertText($k+1, 10, $v->up_user_id);
            $textFile->insertText($k+1, 11, $v->store_name);
            $textFile->insertText($k+1, 12, $v->is_pull_new);
        }

        $filePath = $textFile->output();

        p(BrokerMemberData::count());
        p('执行成功 开始时间' . $start_time . '结束时间' . date('Y-m-d H:i:s'));
        p($filePath);
    }

执行结果

执行成功 开始时间2021-05-29 10:45:04结束时间2021-05-29 10:45:10

D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx

orm里面使用

     BrokerMemberData::where('id', '>', 0)->chunkById(10000, function ($list) use ($textFile) {
            foreach ($list as $k => $v) {

                $textFile->insertText($v->id + 1, 0, $v->id);
                $textFile->insertText($v->id + 1, 1, $v->name);
                $textFile->insertText($v->id + 1, 2, $v->phone);
                $textFile->insertText($v->id + 1, 3, $v->source);
                $textFile->insertText($v->id + 1, 4, $v->province_name);
                $textFile->insertText($v->id + 1, 5, $v->city_name);
                $textFile->insertText($v->id + 1, 6, $v->data_time);
                $textFile->insertText($v->id + 1, 7, $v->user_id);
                $textFile->insertText($v->id + 1, 8, $v->user_nickname);
                $textFile->insertText($v->id + 1, 9, $v->register_time);
                $textFile->insertText($v->id + 1, 10, $v->up_user_id);
                $textFile->insertText($v->id + 1, 11, $v->store_name);
                $textFile->insertText($v->id + 1, 12, $v->is_pull_new);
//                pp($textFile);
//                p($t++);
            }
        });

每次跑20000
D:\phpstudy_pro\WWW\mc>php artisan Zx
初始: 17.759658813477MB
<pre>115135</pre><pre>执行成功 开始时间2021-05-29 19:09:18结束时间2021-05-29 19:09:34</pre><pre>D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx</pre>释放: 19.283096313477MB
峰值: 53.145240783691MB

15000
D:\phpstudy_pro\WWW\mc>php artisan Zx
初始: 17.759658813477MB
<pre>115135</pre><pre>执行成功 开始时间2021-05-29 19:09:53结束时间2021-05-29 19:10:08</pre><pre>D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx</pre>释放: 19.287315368652MB
峰值: 37.001892089844MB

8000
D:\phpstudy_pro\WWW\mc>php artisan Zx
初始: 17.759658813477MB
<pre>115135</pre><pre>执行成功 开始时间2021-05-29 19:10:26结束时间2021-05-29 19:10:46</pre><pre>D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx</pre>释放: 19.13597869873MB
峰值: 20.823844909668MB

10000
D:\phpstudy_pro\WWW\mc>php artisan Zx
初始: 17.759658813477MB
<pre>115135</pre><pre>执行成功 开始时间2021-05-29 19:10:56结束时间2021-05-29 19:11:11</pre><pre>D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx</pre>释放: 19.285507202148MB
峰值: 42.986419677734MB

其他方案：

1，csv ，不段的刷新缓冲期，来实现大数据流的导出

$fp = fopen('php://output', 'a');

// 输出Excel列名信息
$head = array("电子邮件");
foreach ($head as $i => $v) {
    // CSV的Excel支持GBK编码，一定要转换，否则乱码
    $head[$i] = iconv('utf-8', 'gbk', $v);
}

// 将数据通过fputcsv写到文件句柄
fputcsv($fp, $head);

// 计数器
$cnt = 0;
// 每隔$limit行，刷新一下输出buffer，不要太大，也不要太小
$limit = 100000;

// 逐行取出数据，不浪费内存
$count = count($email);

for($t=0;$t<$count;$t++) {

    $cnt ++;
    if ($limit == $cnt) { //刷新一下输出buffer，防止由于数据过多造成问题
        ob_flush();
        flush();
        $cnt = 0;
    }
    $row[] = $email[$t];
    foreach ($row as $i => $v) {
        $row[$i] = iconv('utf-8', 'gbk', $v);
    }
    fputcsv($fp, $row);
    unset($row);
}

这种方案对待简单的excel是可行的，但是需要制作复杂的excel就无能为力

2，导出操作，不经过php，而是直接交给sql做，使用sql自带的导出功能即可。

SELECT
    *
FROM
    table_name 
INTO OUTFILE 'D:/test.csv' 
FIELDS TERMINATED BY ',' 
OPTIONALLY ENCLOSED BY '"' 
LINES TERMINATED BY '\r\n';

SELECT * FROM data_international into outfile 
'd:/zx.xls';

受影响的行: 436593
时间: 0.523s

TRUNCATE TABLE data_international;<br>
LOAD DATA INFILE 
'd:/zx.xls' 
INTO TABLE data_international;

受影响的行: 436593
时间: 2.453s

复杂一些的sql参考
https://www.cnblogs.com/zx-admin/p/5174796.html

3，异步任务

吧excel导出的任务，写入到一个队列，这个可以是redis的队列，也可以是mq的生产队列，

然后写一个消费队列是消费，在cli模式下执行不担心请求超时，然后执行完成，写消息返回给用，可以使用socket通知用户，也可以写一条mysql记录，告诉用户下载地址

很多需要大数量导出的系统都是采用这个方案

但是这个方案有个缺点就是海量数据导出很容易，内存溢出

4，数据流，边刷出文件流，边提供下下载，还是容易超时

5，分文件拆分处理生成 file1.xls,file2.xls,file3.xls，然后合并，减少内存和处问题，但是这个依然会出现硬盘和内存飙升

6，