PHP海量excel数据导出方案解决 xlswriter性能测试

本文探讨了在Laravel环境中使用Excel操作时,如何通过设置内存限制、opcache优化和数据分批处理来提高11万数据导入效率。作者还比较了CSV、SQL导出和异步队列等解决方案,并提供了优化建议。
摘要由CSDN通过智能技术生成

2021年5月28日19:29:20

xlswriter 中文官方网站 https://xlswriter-docs.viest.me/zh-cn 

windows10 环境laravel8 mysql8 

 第一次执行会慢一点,第二次就更快一点,服务器上开了opcache估计会更快一点

public function test(Request $request)
    {
        $start_time = date('Y-m-d H:i:s');

        ini_set('memory_limit', '1024m');
        $config = [
            'path' => public_path() . '/upload' // xlsx文件保存路径
        ];
        $excel = new Excel($config);

        $textFile = $excel->fileName("free.xlsx")->header(['id', 'name', 'phone', 'source', 'province_name', 'city_name', 'data_time', 'user_id', 'user_nickname', 'register_time', 'up_user_id', 'store_name', 'is_pull_new']);
        //大约11万数据
        foreach (BrokerMemberData::get() as $k => $v) {

            $textFile->insertText($k+1, 0, $v->id);
            $textFile->insertText($k+1, 1, $v->name);
            $textFile->insertText($k+1, 2, $v->phone);
            $textFile->insertText($k+1, 3, $v->source);
            $textFile->insertText($k+1, 4, $v->province_name);
            $textFile->insertText($k+1, 5, $v->city_name);
            $textFile->insertText($k+1, 6, $v->data_time);
            $textFile->insertText($k+1, 7, $v->user_id);
            $textFile->insertText($k+1, 8, $v->user_nickname);
            $textFile->insertText($k+1, 9, $v->register_time);
            $textFile->insertText($k+1, 10, $v->up_user_id);
            $textFile->insertText($k+1, 11, $v->store_name);
            $textFile->insertText($k+1, 12, $v->is_pull_new);
        }

        $filePath = $textFile->output();

        p(BrokerMemberData::count());
        p('执行成功 开始时间' . $start_time . '结束时间' . date('Y-m-d H:i:s'));
        p($filePath);
    }

执行结果

115135
执行成功 开始时间2021-05-29 10:45:04结束时间2021-05-29 10:45:10
D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx

orm里面使用
     BrokerMemberData::where('id', '>', 0)->chunkById(10000, function ($list) use ($textFile) {
            foreach ($list as $k => $v) {

                $textFile->insertText($v->id + 1, 0, $v->id);
                $textFile->insertText($v->id + 1, 1, $v->name);
                $textFile->insertText($v->id + 1, 2, $v->phone);
                $textFile->insertText($v->id + 1, 3, $v->source);
                $textFile->insertText($v->id + 1, 4, $v->province_name);
                $textFile->insertText($v->id + 1, 5, $v->city_name);
                $textFile->insertText($v->id + 1, 6, $v->data_time);
                $textFile->insertText($v->id + 1, 7, $v->user_id);
                $textFile->insertText($v->id + 1, 8, $v->user_nickname);
                $textFile->insertText($v->id + 1, 9, $v->register_time);
                $textFile->insertText($v->id + 1, 10, $v->up_user_id);
                $textFile->insertText($v->id + 1, 11, $v->store_name);
                $textFile->insertText($v->id + 1, 12, $v->is_pull_new);
//                pp($textFile);
//                p($t++);
            }
        });


每次跑20000
D:\phpstudy_pro\WWW\mc>php artisan Zx 初始: 17.759658813477MB <pre>115135</pre><pre>执行成功 开始时间2021-05-29 19:09:18结束时间2021-05-29 19:09:34</pre><pre>D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx</pre>释放: 19.283096313477MB 峰值: 53.145240783691MB
15000 D:\phpstudy_pro\WWW\mc>php artisan Zx 初始: 17.759658813477MB <pre>115135</pre><pre>执行成功 开始时间2021-05-29 19:09:53结束时间2021-05-29 19:10:08</pre><pre>D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx</pre>释放: 19.287315368652MB 峰值: 37.001892089844MB
8000 D:\phpstudy_pro\WWW\mc>php artisan Zx 初始: 17.759658813477MB <pre>115135</pre><pre>执行成功 开始时间2021-05-29 19:10:26结束时间2021-05-29 19:10:46</pre><pre>D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx</pre>释放: 19.13597869873MB 峰值: 20.823844909668MB
10000 D:\phpstudy_pro\WWW\mc>php artisan Zx 初始: 17.759658813477MB <pre>115135</pre><pre>执行成功 开始时间2021-05-29 19:10:56结束时间2021-05-29 19:11:11</pre><pre>D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx</pre>释放: 19.285507202148MB 峰值: 42.986419677734MB

 其他方案:

1,csv , 不段的刷新缓冲期,来实现大数据流的导出
$fp = fopen('php://output', 'a');

// 输出Excel列名信息
$head = array("电子邮件");
foreach ($head as $i => $v) {
    // CSV的Excel支持GBK编码,一定要转换,否则乱码
    $head[$i] = iconv('utf-8', 'gbk', $v);
}

// 将数据通过fputcsv写到文件句柄
fputcsv($fp, $head);

// 计数器
$cnt = 0;
// 每隔$limit行,刷新一下输出buffer,不要太大,也不要太小
$limit = 100000;

// 逐行取出数据,不浪费内存
$count = count($email);

for($t=0;$t<$count;$t++) {

    $cnt ++;
    if ($limit == $cnt) { //刷新一下输出buffer,防止由于数据过多造成问题
        ob_flush();
        flush();
        $cnt = 0;
    }
    $row[] = $email[$t];
    foreach ($row as $i => $v) {
        $row[$i] = iconv('utf-8', 'gbk', $v);
    }
    fputcsv($fp, $row);
    unset($row);
}

这种方案对待简单的excel是可行的,但是需要制作复杂的excel就无能为力

2,导出操作,不经过php,而是直接交给sql做,使用sql自带的导出功能即可。
SELECT
    *
FROM
    table_name 
INTO OUTFILE 'D:/test.csv' 
FIELDS TERMINATED BY ',' 
OPTIONALLY ENCLOSED BY '"' 
LINES TERMINATED BY '\r\n';

SELECT * FROM data_international into outfile 
'd:/zx.xls';

受影响的行: 436593
时间: 0.523s

TRUNCATE TABLE data_international;<br>
LOAD DATA INFILE 
'd:/zx.xls' 
INTO TABLE data_international;

受影响的行: 436593
时间: 2.453s
复杂一些的sql参考 https://www.cnblogs.com/zx-admin/p/5174796.html

3,异步任务

吧excel导出的任务,写入到一个队列,这个可以是redis的队列,也可以是mq的生产队列,

然后写一个消费队列是消费,在cli模式下执行不担心请求超时,然后执行完成,写消息返回给用,可以使用socket通知用户,也可以写一条mysql记录,告诉用户下载地址

很多需要大数量导出的系统都是采用这个方案

但是这个方案有个缺点就是海量数据导出很容易,内存溢出

4,数据流,边刷出文件流,边提供下下载,还是容易超时

5,分文件拆分处理生成 file1.xls,file2.xls,file3.xls,然后合并,减少内存和处问题,但是这个依然会出现硬盘和内存飙升

6,

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值