mysql_unbuffered_query pdo_PHP处理大量数据的问题

原标题：PHP处理大量数据的问题

如果有文章推荐，或者你们要看什么的技术文章，请在留言处留言，感谢支持

例如从两张表中分别查出上百万条数据，现在需要把这些数据组装在一起然后在插入到另外一张表中，请问除了使用数组组装外还能怎么处理，如果使用数组的话怎么才能保证不超出内存限制。

mysql_query函数查询的方式是查询出全部结果后缓存到内存中，这样就会出现超内存的现象，使用另外一个函数mysql_unbuffered_query可以解决这个问题，mysql_unbuffered_query不会缓存结果集，而是查询出来数据后立马对结果集进行操作，也就是便查询边返回，这样就不会出现超出内存的现象，但是使用mysql_unbuffered_query的是时候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 发送一条新的 SQL 查询之前，必须提取掉所有未缓存的 SQL 查询所产生的结果行。例如：

使用缓存结果集的代码：

functionselecttest(){

try{

$pdo= newPDO( "mysql:host=localhost;dbname=test", 'root', '123456'); //不使用缓存结果集方式

//$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);$sth= $pdo->prepare( 'select * from test');

$sth->execute();

echo'最初占用内存大小：'. memory_get_usage() . "n";

$i= 0;

while( $result= $sth->fetch(PDO::FETCH_ASSOC)) {

$i+= 1;

if( $i> 10) {

break; } sleep( 1); print_r( $result);

echo'占用内存大小：'. memory_get_usage() . "n"; }} catch( Exception$e) {

echo$e->getMessage();}}

执行时将会报超出内存的错误：

Fatal error: Allowed memory size of 134217728bytes exhausted (tried to allocate 204800000bytes)

inE:ProgramDevelopmentRuntimeEnvironmentxampphtdocs testtest.php on line 56Call Stack: 0.0005135392

1. {main}() E:ProgramDevelopmentRuntimeEnvironmentxampphtdocs testtest.php: 00.00051355682. test->selecttest() E:ProgramDevelopmentRuntimeEnvironmentxampphtdocs testtest.php: 850.00501425283. PDOStatement->execute() E:ProgramDevelopmentRuntimeEnvironmentxampphtdocs testtest.php: 56

将上面代码中的$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注释去掉后将不在缓存结果集，这时运行该函数的结果如下：

最初占用内存大小： 144808Array( [id] => 1[a] => v [b] => w [c] => i)占用内存大小： 145544Array( [id] => 2[a] => b [b] => l [c] => q)占用内存大小： 145544Array( [id] => 3[a] => m [b] => p [c] => h)占用内存大小： 145536Array( [id] => 4[a] => j [b] => i [c] => b)占用内存大小： 145536

可以看到，这时返回一条数据内存占用非常的小，也就700多字节，这样就不会出现超出内存的错误了。返回搜狐，查看更多

责任编辑：