开发中经常遇到,格式化导出数据库中源数据。各种框架中也有很多好用的包,直接获取数据,丢入对应的处理方法即可。
但是假如遇到导出大量的数据,特别还需要进行数据处理。一般处理大数据有如下几种解决办法:
这里主要记录下使用fputcsv方式导出数据。
public function exportData()
{
set_time_limit(0);
ini_set('memory_limit', '1024M');
$columns = [
'列名1', '列名2', '列名3' //需要几列,定义好列名
];
//设置好告诉浏览器要下载excel文件的headers
header('Content-Description: File Transfer');
header('Content-Type: application/vnd.ms-excel');
header('Content-Disposition: attachment; filename="导出数据-'.date('Y-m-d', time()).'.csv"');
header('Expires: 0');
header('Cache-Control: must-revalidate');
header('Pragma: public');
$fp = fopen('php://output', 'a');//打开output流
mb_convert_variables('GBK', 'UTF-8', $columns);
fputcsv($fp, $columns);//将数据格式化为CSV格式并写入到output流中
//添加查询条件,获取需要的数据
$query = Model::class()->where();
//获取总数,分页循环处理
$accessNum = $query->count();
$perSize = 1000;
$pages = ceil($accessNum / $perSize);
for($i = 1; $i <= $pages; $i++) {
$db_data = $query->limit($perSize)->offset(($i-1)*$perSize)->get();
foreach($db_data as $key => $value) {
$rowData = [];
//获取每列数据,转换处理成需要导出的数据
//需要格式转换,否则会乱码
mb_convert_variables('GBK', 'UTF-8', $rowData);
fputcsv($fp, $rowData);
}
//释放变量的内存
unset($db_data);
//刷新输出缓冲到浏览器
ob_flush();
//必须同时使用 ob_flush() 和flush() 函数来刷新输出缓冲。
flush();
}
fclose($fp);
exit();
}
这样会一边生成,一边写入下载文件,提高处理速度。
之前使用的包处理,生成一个25M的数据,要20分钟。这种方式处理需要1分多钟(也和实际处理的环境有关)。
参考内容:
https://segmentfault.com/a/1190000011663425
http://www.php.net/manual/en/function.fputcsv.php