php 用csv文件导出大量数据初方案

背景:接手的项目中支持导出一批数据,全数量在50W左右。在接手的时候看代码是直接一次查询mysql获得数据,然后用header函数直接写入csv,用户开始导出则自动下载。但是,在全导出的时候,功能出现了BUG问题。

1.数据量大导致php处理脚本运行时间,超过默认限制。

2.数据量过大,导致内存溢出,流程中止。


初版解决方案:

1.通过函数set_time_limit(0);       取消执行时间限制(在导出的函数入口设置,这是合理的,导出的数据量过大了)

2.关于数据过大,内存溢出的解决办法,开始是想到了php动态变量(先由sql语句获得总记录数,然后每2W条切分,查询2w条数据存入一个变量)

	$total_export_count = $db->getOne("select count(1) from ($sql) t2");
		
	for ($i=0;$i<intval($total_export_count/20000)+1;$i++){
	        $export_data = "exportdata".$i;
    	    $$export_data = $db->getAll($sql." limit ".strval($i*20000).",20000");
    	}
然后通过相应的代码取出变量的信息,echo到csv文件中,这种方式在本地测试的时候是通过的,但在服务器上依旧会内存溢出。
	header ( "Content-type:application/vnd.ms-excel" );
    	header ( "Content-Disposition:filename=" . iconv ( "UTF-8", "GB18030", "查询用户列表" ) . ".csv" );	
    	$out = $column_name;
    	echo iconv ( "UTF-8", "GB18030", $out );
    	
    	for ($i=0;$i<intval($total_export_count/20000)+1;$i++){
    	    $dynamic_name = "exportdata".$i;
        	foreach ( $$dynamic_name as $key => $item ) {
        	    echo iconv ( "UTF-8", "GB18030", "\n".implode(',',$item) );
        	}
        	
        	// 将已经写到csv中的数据存储变量销毁,释放内存占用
            	unset($$dynamic_name);
    	}
    	
    	exit ();
因为上面的方法在服务器上没有通过,所以只能将分割数据量的操作放到写文件的流程中,相比上面的思路这种会慢一些。
    	header ( "Content-type:application/vnd.ms-excel" );
    	header ( "Content-Disposition:filename=" . iconv ( "UTF-8", "GB18030", "查询用户列表" ) . ".csv" );	
    	$out = $column_name;
    	echo iconv ( "UTF-8", "GB18030", $out );
    	
    	$pre_count = 20000;
    	for ($i=0;$i<intval($total_export_count/$pre_count)+1;$i++){
    	    $export_data = $db->getAll($sql." limit ".strval($i*$pre_count).",{$pre_count}");
        	foreach ( $export_data as $key => $item ) {
        	    echo iconv ( "UTF-8", "GB18030", "\n".implode(',',$item) );
        	}
        	
        	// 将已经写到csv中的数据存储变量销毁,释放内存占用
            unset($export_data);
    	}
    	
    	exit ();
经测试之后是可行的,服务器上也可以导出,就是时间会慢一些,而且会是一直下载状态。

关于这个场景整理了一些资料:

1.csv文件的条数是好像没有限制的,可以一直写(网上的博文里面看的,没证实过)

2.excel 2010版本以上,是可以读取100多W行数据的(验证过,新建一个excel,ctrl+下箭头  到文件末尾可以看到行数)


理想的解决方案(没有具体实施,想的)

1.数据分割肯定是必须的步骤,防止内存溢出。

2.将分割后的数据写入到一个excel或者一个csv文件中,被分割了多少次,写多少个文件。这样可以防止达到文件行数的最大限制。

3.将2中写的文件进行压缩处理,压缩成一个压缩包,然后进行自动下载。


补充:

在上面的方案正式运行的时候发现导出的数据,总是比查询的总记录数要少1000多条,几次看数据后发现有些数据并没有换行,而是写到上一行去了。在有了这个觉悟后,重新看了遍之前转别人的帖子,发现还是用fputcsv()函数比较靠谱,传入一个数组,作为一行的数据,由该函数自己去写换行和控列。感觉有些时候还是不要偷懒的好啊,虽然自己写","完成列分割,写"\n"完成空格,貌似是可行的,但是对于一些数据,并不一定能控制的好。


修改后的导出代码:

    	header ( "Content-type:application/vnd.ms-excel" );
    	header ( "Content-Disposition:filename=" . iconv ( "UTF-8", "GB18030", "query_user_info" ) . ".csv" );
    	
    	// 打开PHP文件句柄,php://output 表示直接输出到浏览器
    	$fp = fopen('php://output', 'a'); 
    	
    	// 将中文标题转换编码,否则乱码
    	foreach ($column_name as $i => $v) {  
            $column_name[$i] = iconv('utf-8', 'GB18030', $v);  
        }
        // 将标题名称通过fputcsv写到文件句柄  
        fputcsv($fp, $column_name);
    	
    	$pre_count = 10000;
    	for ($i=0;$i<intval($total_export_count/$pre_count)+1;$i++){
    	    $export_data = $db->getAll($sql." limit ".strval($i*$pre_count).",{$pre_count}");
        	foreach ( $export_data as $item ) {
        	    $rows = array();
        	    foreach ( $item as $export_obj){
        	        $rows[] = iconv('utf-8', 'GB18030', $export_obj);
        	    }
    	        fputcsv($fp, $rows);
        	}
        	
        	// 将已经写到csv中的数据存储变量销毁,释放内存占用
            unset($export_data);
            ob_flush();
            flush();
    	}
    	
    	exit ();

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值