PHP大量数据循环时内存耗尽问题的解决方案

最近在开发一个PHP程序时遇到了下面的错误:

PHP Fatal error: Allowed memory size of 9999999999 bytes exhausted

错误信息显示允许的最大内存已经耗尽。遇到这样的错误起初让我很诧异,但转眼一想,也不奇怪,因为我正在开发的这个程序是要用一个foreach循环语句在一个有百万条记录的表里全表搜索具有特定特征的数据,也就是说,一次要把百万条数据取出,然后逐条检查每天数据。可想而知,百万条数据全部加载到内存中,内存不爆才怪。

缓冲的查询是默认的,下面的例子将演示如何执行无缓冲的查询每个API:

它们之间的区别:

无缓冲的MySQL查询执行查询,然后返回一个资源时,数据仍在MySQL服务器等待被读取。这种使用较少的内存在PHP的一面,但可以增加服务器的负载;

缓冲查询结果立即从MySQL服务器转移到PHP然后保存在PHP进程的内存。如果数据过多就会耗尽内存

非缓冲查询方法一: mysqli

<?php 
$mysqli  = new mysqli("localhost", "my_user", "my_password", "world"); 
$uresult = $mysqli->query("SELECT Name FROM City", MYSQLI_USE_RESULT);

if ($uresult) { 
   while ($row = $uresult->fetch_assoc()) { 
       echo $row['Name'] . PHP_EOL; 
   } 

$uresult->close(); 
?>

非缓冲查询方法二: pdo_mysql

<?php 
$pdo = new PDO("mysql:host=localhost;dbname=world", 'my_user', 'my_pass'); 
$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

$uresult = $pdo->query("SELECT Name FROM City"); 
if ($uresult) { 
   while ($row = $uresult->fetch(PDO::FETCH_ASSOC)) { 
       echo $row['Name'] . PHP_EOL; 
   } 

?>

非缓冲查询方法三: mysql

<?php 
$conn = mysql_connect("localhost", "my_user", "my_pass"); 
$db   = mysql_select_db("world");

$uresult = mysql_unbuffered_query("SELECT Name FROM City"); 
if ($uresult) { 
   while ($row = mysql_fetch_assoc($uresult)) { 
       echo $row['Name'] . PHP_EOL; 
   } 

?>

Note:

mysql_unbuffered_query() 的好处是有代价的:在 mysql_unbuffered_query() 返回的结果集之上不能使用 mysql_num_rows() mysql_data_seek() 。此外在向 MySQL 发送一条新的 SQL 查询之前,必须提取掉所有未缓存的 SQL 查询所产生的结果行。 

例如:

<?php 
$conn = mysql_connect("localhost", "root",""); 
$db   = mysql_select_db("dh");
$uresult = mysql_query("SELECT * FROM serve"); 
$num_rows  =  mysql_num_rows ( $uresult );
echo $num_rows;
//此处结果为0
var_dump($uresult);
if ($uresult) { 
   while ($row = mysql_fetch_assoc($uresult)) { 
       echo $row['id'] . PHP_EOL; 
   } 



?>


/**********************************************

<?php 
$conn = mysql_connect("localhost", "root",""); 
$db   = mysql_select_db("dh");
$uresult = mysql_query("SELECT id FROM serve"); 
var_dump($uresult);
if ($uresult) { 
   while ($row = mysql_fetch_assoc($uresult)) { 
       echo $row['id'] . PHP_EOL; 
   } 

$num_rows  =  mysql_num_rows ( $uresult );
echo $num_rows;
//此处结果为正常值
?>

  • 1
    点赞
  • 3
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:编程工作室 设计师:CSDN官方博客 返回首页
评论

打赏作者

zNULLT

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值