PHP 高效导出百万以上数据

rabbit-dog

已于 2023-04-23 16:36:48 修改

阅读量463

点赞数

分类专栏： PHP 文章标签： excel php 开发语言

于 2023-04-23 16:07:00 首次发布

本文链接：https://blog.csdn.net/yafei450225664/article/details/130324090

版权

文章介绍了一种通过PHP的多进程方法来提高Excel数据导出效率的方案。通过将大数量级（如200万）的数据分成多个子进程，每个进程处理一部分（如20万），然后合并结果，能在220秒内完成导出。这种方法比使用PHPexcel等库更有效率。

摘要由CSDN通过智能技术生成

如果你导出的Excel没有什么高级用法的话，只是做导出数据用那么建议使用本方法,要比PHPexcel要高效的多。
这边用的是用的多进程的方式来完成导出的。比如我现在要导出200W数据，我就按20W数据分配一个子进程的方式，这样就需要分配10个子进程，每个进程完成20W数据的导出。然后把导入的后的数据合并下就完成了200W数据的导入。看下面具体代码：

<?php
namespace console\controllers;

use Yii;
use yii\console\Controller;
use common\helpers\CommonFun;

class ExportController extends Controller
{
    protected $csvPath;
    protected $user;
    protected $size = 1000;
    protected $step = 200000;

        

    //多进程的脚本
    public function actionSend($count)
    {
        if (!$count) exit('count is zero');
        $taskStartTime = microtime(true);
        //创建目录
        if (!file_exists($this->csvPath)) {
            CommonFun::recursionMkDir($this->csvPath);
        }
        $totalNum = ceil($count/$this->step);
        $childs = array();
        for($i=0; $i< $totalNum; $i++) {
            $pid = pcntl_fork();
            if ($pid =