php 按行读取 太慢,php查询返回数据过大 导入csv文件很慢

框架用的是ci,数据库是sqlsrv(sql server 2008),sql查询返回的结果集有2万条数据,我在ci框架里面执行这个sql语句,网页一直在转圈,2万条数据要转30秒左右,但是我的sql语句在sql server 2008 R2 里面执行 是秒查,在ci里面用自带查询sql执行时间是200毫秒,,说明我的语句并不慢。个人觉得应该是返回数据太多导致慢的,返回的是2万条数据,20个字段左右,,因为我做的是统计 ,要把数据导出成csv文件,所以数据比较多,这个该怎么处理?

我的sql 语句是select * from table where create_time between 'xxxx-xx-xx 00:00:00' and 'xxxx-xx-xx 23:59:59'; 是根据时间段来的 如果用户选择的时间范围小 那数据就少 如果范围大 那数据就大 数据大的时候就很慢

public function aa(){

$sql ="select * from table where create_time between 'xxxx-xx-xx 00:00:00' and 'xxxx-xx-xx 23:59:59'";

$result=$this->db->query($sql)-result_array();

}

这已经是最简单的查询了,sql语句秒查,但是用浏览器执行就很慢,

我在浏览器里面执行 , 如果查询结果几万条的话 浏览器就一直转圈,要等四十多秒,500条足有数据是3、4秒

我在想是不是result_array()这一步 需要循环需要花费太多的时间,本身记录就有几万条,然后还有二十个字段

==============2017-05-16 16:01更新===============

我没有用ci框架自带的result_array() ,查看ci框架文档的时候看到一段话:

经常的,你会需要提供一个数据库的 connection ID 或是一个 result ID, connection ID 可以这样来

$this->db->conn_id;

result ID 可以从查询返回的结果对象获取,像这样:

$query = $this->db->query("SOME QUERY");

$query->result_id;

于是我修改了我的代码 拿 result_id 去循环读取每条记录

$sql ="select xxx";

$query=$this->db->query($sql);

//这里因为我用的是sqlsrv 所以使用的是sqlsrv_fetch_array 来循环读取每一行

//然后每读一行 就写如csv文件

while($row=sqlsrv_fetch_array($query->result_id,SQLSRV_FETCH_ASSOC)){

//这里是把row 写入csv文件的代码

}

具体的代码就是下面了

$sql="xxx";

$query=$this->db->query($sql);

$filename= "CostDetail.csv";//导出的文件名

header('Content-Type: application/vnd.ms-excel');

header('Content-Disposition: attachment;filename="'.$filename.'"');

header('Cache-Control: max-age=0');

// 打开PHP文件句柄,php://output 表示直接输出到浏览器

$fp = fopen('php://output', 'a');

// 输出Excel列名信息

$head = array(xxx);

foreach ($head as $i => $v) {

// CSV的Excel支持GBK编码,一定要转换,否则乱码

$head[$i] = iconv('utf-8', 'gbk', $v);

}

// 将数据通过fputcsv写到文件句柄

fputcsv($fp, $head);

// 计数器

$cnt = 0;

// 从数据库中获取数据,为了节省内存,不要把数据一次性读到内存,从句柄中一行一行读即可

$limit = 5000;

while ($row=sqlsrv_fetch_array($query->result_id,SQLSRV_FETCH_ASSOC)){

$cnt ++;

if ($limit == $cnt) { //刷新一下输出buffer,防止由于数据过多造成问题

ob_flush();

flush();

$cnt = 0;

}

//这里是把每个字段的编码转成gbk

$newRow[] = $this->_mb_convert_encoding($row['edis_orgsoid']);

....

unset($row);

fputcsv($fp, $newRow);

unset($newRow);

}

exit;

这样能导出文件 但是我看了一下 19204行的,16列 的csv文件 3M左右 , 需要40-45秒的时间才能导出好,,我想问这时间还能优化的再快点吗

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值