php mysql 大量读取_PHP利用PDO从mysql读取大量数据处理（可做大量数据集的导出，业务调整等）...

环境

mysql: 5.6.34

php: 5.6

nginx: php-fpm

适用场景

需要处理一定数据集业务

从mysql读取一定数据的业务导出

一次需要处理一定的mysql业务操作更新删除等

更多需要处理一定数据集的操作

pdo 关键设置

$dbh = new \PDO($dsn, $user, $pass);

# 关键设置，如果不设置，php依旧会从pdo一次取出数据到php

$dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

//perpare里的游标属性不是必须的

$sth = $dbh->prepare("SELECT * FROM `order`", array(\PDO::ATTR_CURSOR => \PDO::CURSOR_SCROLL));

$sth->execute();

生成器

生成器，迭代数据操作

本生成器可省略

尝试代码

class Test {

public function test()

{

set_time_limit(0);

$dbms='mysql'; //数据库类型

$host=C('DB_HOST'); //数据库主机名

$dbName=C('DB_NAME'); //使用的数据库

$user=C('DB_USER'); //数据库连接用户名

$pass=C('DB_PWD'); //对应的密码

$dsn="$dbms:host=$host;dbname=$dbName";

$dbh = new \PDO($dsn, $user, $pass);

$dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

$sth = $dbh->prepare("SELECT * FROM `order`");

$sth->execute();

$i = 0;

$newLine = PHP_SAPI == 'cli' ? "\n" : '
';

foreach ($this->cursor($sth) as $row) {

// var_dump($row);

echo $row['id'] . $newLine;

$i++;

}

echo "消耗内存：" . (memory_get_usage() / 1024 / 1024) . "M" . $newLine;

echo "处理数据行数：" . $i . $newLine;

echo "success";

}

public function cursor($sth)

{

while($row = $sth->fetch(\PDO::FETCH_ASSOC)) {

yield $row;

}

}

}

$test = new Test();

$test->test();

输出

1

... //省略部分id

804288

消耗内存："0.34918212890625M

处理数据行数：254062

success