php 处理导出大数据

开发中经常遇到，格式化导出数据库中源数据。各种框架中也有很多好用的包，直接获取数据，丢入对应的处理方法即可。
但是假如遇到导出大量的数据，特别还需要进行数据处理。一般处理大数据有如下几种解决办法：

这里主要记录下使用fputcsv方式导出数据。

public function exportData()
    {   
        set_time_limit(0);
        ini_set('memory_limit', '1024M');

        $columns = [
            '列名1', '列名2', '列名3'      //需要几列，定义好列名
        ];

        //设置好告诉浏览器要下载excel文件的headers
        header('Content-Description: File Transfer');
        header('Content-Type: application/vnd.ms-excel');
        header('Content-Disposition: attachment; filename="导出数据-'.date('Y-m-d', time()).'.csv"');
        header('Expires: 0');
        header('Cache-Control: must-revalidate');
        header('Pragma: public');
        $fp = fopen('php://output', 'a');//打开output流
        mb_convert_variables('GBK', 'UTF-8', $columns);
        fputcsv($fp, $columns);//将数据格式化为CSV格式并写入到output流中

        //添加查询条件，获取需要的数据
        $query = Model::class()->where();

        //获取总数，分页循环处理
        $accessNum = $query->count();
        $perSize = 1000;
        $pages   = ceil($accessNum / $perSize);

        for($i = 1; $i <= $pages; $i++) {

            $db_data = $query->limit($perSize)->offset(($i-1)*$perSize)->get();

            foreach($db_data as $key => $value) {
                $rowData = [];

                //获取每列数据，转换处理成需要导出的数据
                //需要格式转换，否则会乱码
                mb_convert_variables('GBK', 'UTF-8', $rowData);
                fputcsv($fp, $rowData);
            }

            //释放变量的内存
            unset($db_data);

            //刷新输出缓冲到浏览器
            ob_flush();

            //必须同时使用 ob_flush() 和flush() 函数来刷新输出缓冲。
            flush();
        }

        fclose($fp);
        exit();
    }

这样会一边生成，一边写入下载文件，提高处理速度。
之前使用的包处理，生成一个25M的数据，要20分钟。这种方式处理需要1分多钟（也和实际处理的环境有关）。

参考内容:
https://segmentfault.com/a/1190000011663425
http://www.php.net/manual/en/function.fputcsv.php