mysql 399360_PHP支持从数据库中导出100万的数据 csv

文章来源PHP中文网

从此文章中 学习到了一个打开 标准输出流

这是个什么东东？

$fp=fopen('php://output','a'); 以追加的方式打开标准输出流。 这是一个新概念，一般情况下，都是打开文件读取。呵呵，记录下来

$title = array('ID','姓名','年龄','性别');

foreach($title as $key => $item) {

$title[$key] =iconv("UTF-8", "GBK", $item);

}

fpubcsv($fp,$title);

通过这里的学习 ，知道了  fputcsv直接可以写数组。

php代码及时清空是什么概念：set_time_limit(0);

ini_set('memory_limit', '3M');

printf("刚刚开始空间适用情况:%d\n
", memory_get_usage());

ob_start();

$data = [];

$clearNum=1;

for ($i = 1; $i 

$data[] = [rand(1000, 9999), getContents(rand(3, 8)), rand(10, 60), rand(0, 1)];

printf("for循环{$i}适用情况:%d\n
", memory_get_usage());

if (count($data) >= 10) {

$data = [];

printf("清空了 %d 次data 空间适用量是:%d\n
",$clearNum, memory_get_usage());

$clearNum++;

}

//usleep(300);

}

printf("结束时的空间是:%d\n
", memory_get_usage());

function getContents($len = 0) {

$str = 'asdfghjklqwertyuiopzxcvbnm12345678900987654321wdfgvbnoiujhgfcxqasxcvbbjkoplkmn';

return substr(str_shuffle($str), 0, $len === 0 ? mt_rand(10, strlen($str)) : $len);

}

//执行结果：刚刚开始空间适用情况:362360

for循环1适用情况:379408

for循环2适用情况:379704

for循环3适用情况:380000

for循环4适用情况:380296

for循环5适用情况:380592

for循环6适用情况:380888

for循环7适用情况:381184

for循环8适用情况:381480

for循环9适用情况:382000

for循环10适用情况:382296

清空了 1 次data 空间适用量是:378840

for循环11适用情况:379408

for循环12适用情况:379704

for循环13适用情况:380000

for循环14适用情况:380296

for循环15适用情况:380592

for循环16适用情况:380888

for循环17适用情况:381184

for循环18适用情况:381480

for循环19适用情况:382008

for循环20适用情况:382312

清空了 2 次data 空间适用量是:378840

for循环21适用情况:379408

for循环22适用情况:379704

for循环23适用情况:380000

for循环24适用情况:380296

for循环25适用情况:380592

for循环26适用情况:380896

for循环27适用情况:381192

for循环28适用情况:381488

for循环29适用情况:382008

for循环30适用情况:382304

清空了 3 次data 空间适用量是:378840

for循环31适用情况:379408

for循环32适用情况:379704

for循环33适用情况:380000

for循环34适用情况:380296

for循环35适用情况:380592

for循环36适用情况:380888

for循环37适用情况:381184

for循环38适用情况:381480

for循环39适用情况:382008

for循环40适用情况:382312

清空了 4 次data 空间适用量是:378840

for循环41适用情况:379408

for循环42适用情况:379704

for循环43适用情况:380000

for循环44适用情况:380296

for循环45适用情况:380592

for循环46适用情况:380888

for循环47适用情况:381184

for循环48适用情况:381480

for循环49适用情况:382000

for循环50适用情况:382296

清空了 5 次data 空间适用量是:378840

for循环51适用情况:379408

for循环52适用情况:379712

for循环53适用情况:380016

for循环54适用情况:380320

for循环55适用情况:380616

for循环56适用情况:380912

for循环57适用情况:381208

for循环58适用情况:381504

for循环59适用情况:382024

for循环60适用情况:382328

清空了 6 次data 空间适用量是:378840

for循环61适用情况:379408

for循环62适用情况:379704

for循环63适用情况:380000

for循环64适用情况:380296

for循环65适用情况:380592

for循环66适用情况:380888

for循环67适用情况:381184

for循环68适用情况:381480

for循环69适用情况:382000

for循环70适用情况:382296

清空了 7 次data 空间适用量是:378840

for循环71适用情况:379408

for循环72适用情况:379704

for循环73适用情况:380008

for循环74适用情况:380304

for循环75适用情况:380600

for循环76适用情况:380896

for循环77适用情况:381192

for循环78适用情况:381496

for循环79适用情况:382016

for循环80适用情况:382312

清空了 8 次data 空间适用量是:378840

for循环81适用情况:379408

for循环82适用情况:379704

for循环83适用情况:380000

for循环84适用情况:380296

for循环85适用情况:380592

for循环86适用情况:380888

for循环87适用情况:381184

for循环88适用情况:381480

for循环89适用情况:382008

for循环90适用情况:382304

清空了 9 次data 空间适用量是:378840

for循环91适用情况:379416

for循环92适用情况:379712

for循环93适用情况:380016

for循环94适用情况:380312

for循环95适用情况:380608

for循环96适用情况:380904

for循环97适用情况:381200

for循环98适用情况:381496

for循环99适用情况:382016

结束时的空间是:381968

得出结论：for循环中，定时去释放内存，是可以节省内存的。

如果一味的输出是什么情况：set_time_limit(0);

ini_set('memory_limit', '3M');

//

$fileName = date('YmdHis', time());

header('Content-Encoding: UTF-8');

header("Content-type:application/vnd.ms-excel;charset=UTF-8");

header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');

ob_start();

$fp = fopen('php://output', 'a');

$title = array('ID','姓名','年龄','性别');

foreach($title as $key => $item) {

$title[$key] =iconv("UTF-8", "GBK", $item);

}

$logdata = [];

$logdata[]=sprintf("刚刚开始空间适用情况:%d\n
", memory_get_usage());

$clearNum=1;

for ($i = 0; $i 

$logdata[]=sprintf("for循环{$i}使用情况:%d\n
", memory_get_usage());

$row=[rand(1000,9999),getContents(rand(3,8)),rand(10,60),rand(0,1)];

fputcsv($fp, $row);

//sleep(1);

ob_flush();

flush();

$logdata[]=sprintf("for循环{$i} flush 后使用情况:%d\n
", memory_get_usage());

/*if (count($data) >= 10) {

$data = [];

printf("清空了 %d 次data 空间适用量是:%d\n
",$clearNum, memory_get_usage());

$clearNum++;

}*/

//usleep(300);

}

$logdata[]=sprintf("结束时的空间是:%d\n
", memory_get_usage());

file_put_contents('datalog',implode('',$logdata));

function getContents($len = 0) {

$str = 'asdfghjklqwertyuiopzxcvbnm12345678900987654321wdfgvbnoiujhgfcxqasxcvbbjkoplkmn';

return substr(str_shuffle($str), 0, $len === 0 ? mt_rand(10, strlen($str)) : $len);

}

内存使用情况：刚刚开始空间适用情况:386024

for循环0使用情况:386616

for循环0 flush 后使用情况:387248

for循环1使用情况:387552

for循环1 flush 后使用情况:387888

for循环2使用情况:388192

for循环2 flush 后使用情况:388528

for循环3使用情况:388832

for循环3 flush 后使用情况:389176

for循环4使用情况:389704

for循环4 flush 后使用情况:390032

for循环5使用情况:390336

for循环5 flush 后使用情况:390680

for循环6使用情况:390984

for循环6 flush 后使用情况:391312

for循环7使用情况:391616

for循环7 flush 后使用情况:391960

for循环8使用情况:392712

for循环8 flush 后使用情况:393040

for循环9使用情况:393344

for循环9 flush 后使用情况:393680

for循环10使用情况:393984

for循环10 flush 后使用情况:394320

for循环11使用情况:394624

for循环11 flush 后使用情况:394960

for循环12使用情况:395264

for循环12 flush 后使用情况:395600

for循环13使用情况:395904

for循环13 flush 后使用情况:396248

for循环14使用情况:396552

for循环14 flush 后使用情况:396880

for循环15使用情况:397184

for循环15 flush 后使用情况:397520

for循环16使用情况:398720

for循环16 flush 后使用情况:399056

for循环17使用情况:399360

for循环17 flush 后使用情况:399696

for循环18使用情况:400000

for循环18 flush 后使用情况:400344

for循环19使用情况:400648

for循环19 flush 后使用情况:400976

for循环20使用情况:401280

for循环20 flush 后使用情况:401616

for循环21使用情况:401920

for循环21 flush 后使用情况:402256

for循环22使用情况:402560

for循环22 flush 后使用情况:402896

for循环23使用情况:403200

for循环23 flush 后使用情况:403536

for循环24使用情况:403840

for循环24 flush 后使用情况:404176

for循环25使用情况:404480

for循环25 flush 后使用情况:404816

for循环26使用情况:405120

for循环26 flush 后使用情况:405456

for循环27使用情况:405760

for循环27 flush 后使用情况:406096

for循环28使用情况:406400

for循环28 flush 后使用情况:406736

for循环29使用情况:407040

for循环29 flush 后使用情况:407376

for循环30使用情况:407680

for循环30 flush 后使用情况:408016

for循环31使用情况:408320

for循环31 flush 后使用情况:408664

for循环32使用情况:411272

for循环32 flush 后使用情况:411600

for循环33使用情况:411904

for循环33 flush 后使用情况:412248

for循环34使用情况:412552

for循环34 flush 后使用情况:412880

for循环35使用情况:413184

for循环35 flush 后使用情况:413520

for循环36使用情况:413824

for循环36 flush 后使用情况:414160

for循环37使用情况:414464

for循环37 flush 后使用情况:414808

for循环38使用情况:415112

for循环38 flush 后使用情况:415440

for循环39使用情况:415744

for循环39 flush 后使用情况:416080

for循环40使用情况:416384

for循环40 flush 后使用情况:416720

for循环41使用情况:417024

for循环41 flush 后使用情况:417360

for循环42使用情况:417664

for循环42 flush 后使用情况:418000

for循环43使用情况:418304

for循环43 flush 后使用情况:418640

for循环44使用情况:418944

for循环44 flush 后使用情况:419280

for循环45使用情况:419584

for循环45 flush 后使用情况:419920

for循环46使用情况:420224

for循环46 flush 后使用情况:420560

for循环47使用情况:420864

for循环47 flush 后使用情况:421208

for循环48使用情况:421512

for循环48 flush 后使用情况:421840

for循环49使用情况:422144

for循环49 flush 后使用情况:422480

for循环50使用情况:422784

for循环50 flush 后使用情况:423120

for循环51使用情况:423424

for循环51 flush 后使用情况:423760

for循环52使用情况:424064

for循环52 flush 后使用情况:424400

for循环53使用情况:424704

for循环53 flush 后使用情况:425040

for循环54使用情况:425344

for循环54 flush 后使用情况:425680

for循环55使用情况:425984

for循环55 flush 后使用情况:426320

for循环56使用情况:426624

for循环56 flush 后使用情况:426960

for循环57使用情况:427264

for循环57 flush 后使用情况:427608

for循环58使用情况:427912

for循环58 flush 后使用情况:428240

for循环59使用情况:428544

for循环59 flush 后使用情况:428880

for循环60使用情况:429184

for循环60 flush 后使用情况:429520

for循环61使用情况:429824

for循环61 flush 后使用情况:430160

for循环62使用情况:430464

for循环62 flush 后使用情况:430800

for循环63使用情况:431104

for循环63 flush 后使用情况:431440

for循环64使用情况:435840

for循环64 flush 后使用情况:436184

for循环65使用情况:436488

for循环65 flush 后使用情况:436816

for循环66使用情况:437120

for循环66 flush 后使用情况:437456

for循环67使用情况:437760

for循环67 flush 后使用情况:438096

for循环68使用情况:438400

for循环68 flush 后使用情况:438736

for循环69使用情况:439040

for循环69 flush 后使用情况:439376

for循环70使用情况:439680

for循环70 flush 后使用情况:440016

for循环71使用情况:440320

for循环71 flush 后使用情况:440656

for循环72使用情况:440960

for循环72 flush 后使用情况:441296

for循环73使用情况:441600

for循环73 flush 后使用情况:441944

for循环74使用情况:442248

for循环74 flush 后使用情况:442576

for循环75使用情况:442880

for循环75 flush 后使用情况:443216

for循环76使用情况:443520

for循环76 flush 后使用情况:443856

for循环77使用情况:444160

for循环77 flush 后使用情况:444496

for循环78使用情况:444800

for循环78 flush 后使用情况:445136

for循环79使用情况:445440

for循环79 flush 后使用情况:445776

for循环80使用情况:446080

for循环80 flush 后使用情况:446424

for循环81使用情况:446728

for循环81 flush 后使用情况:447056

for循环82使用情况:447360

for循环82 flush 后使用情况:447696

for循环83使用情况:448000

for循环83 flush 后使用情况:448336

for循环84使用情况:448640

for循环84 flush 后使用情况:448976

for循环85使用情况:449280

for循环85 flush 后使用情况:449624

for循环86使用情况:449928

for循环86 flush 后使用情况:450256

for循环87使用情况:450560

for循环87 flush 后使用情况:450904

for循环88使用情况:451208

for循环88 flush 后使用情况:451536

for循环89使用情况:451840

for循环89 flush 后使用情况:452176

for循环90使用情况:452480

for循环90 flush 后使用情况:452816

for循环91使用情况:453120

for循环91 flush 后使用情况:453456

for循环92使用情况:453760

for循环92 flush 后使用情况:454096

for循环93使用情况:454400

for循环93 flush 后使用情况:454736

for循环94使用情况:455040

for循环94 flush 后使用情况:455376

for循环95使用情况:455680

for循环95 flush 后使用情况:456024

for循环96使用情况:456328

for循环96 flush 后使用情况:456656

for循环97使用情况:456960

for循环97 flush 后使用情况:457296

for循环98使用情况:457600

for循环98 flush 后使用情况:457936

for循环99使用情况:458240

for循环99 flush 后使用情况:458576

结束时的空间是:458832

由此我们看到内存适用是一路飙升的，在导出数据的时候，注意内存使用情况

下面来看看完整的代码：

set_time_limit(0);

ini_set('memory_limit', '3M');

$fileName = date('YmdHis', time());

header('Content-Encoding: UTF-8');

header("Content-type:application/vnd.ms-excel;charset=UTF-8");

header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');

//打开php标准输出流

//以写入追加的方式打开

$fp = fopen('php://output', 'a');

//连接数据库

/*$dbhost = '127.0.0.1';

$dbuser = 'root';

$dbpwd = '';

$con = mysqli_connect($dbhost, $dbuser, $dbpwd);

if (mysqli_connect_errno()) {

die('connect error');

}

//选择数据库

$database = 'test';

mysqli_select_db($con, $database);

//设置编码

mysqli_query($con, "set names UTF8");

*/

//我们试着用fputcsv从数据库中导出1百万的数据

//我们每次取1万条数据，分100步来执行

//如果线上环境无法支持一次性读取1万条数据，可把$nums调小，$step相应增大。

$step = 100;

$nums = 10000;

$where = ""; //筛选条件

//设置标题

$title = array('ID','姓名','年龄','性别');

foreach($title as $key => $item) {

$title[$key] =iconv("UTF-8", "GBK", $item);

}

ob_start();

//将标题写到标准输出中

fputcsv($fp, $title);

for($i=0;$i<100;$i++){

$row=[rand(1000,9999),getContents(rand(3,8)),rand(10,60),rand(0,1)];

fputcsv($fp, $row);

sleep(1);

ob_flush();

flush();

}

function getContents($len=0){

$str='asdfghjklqwertyuiopzxcvbnm12345678900987654321wdfgvbnoiujhgfcxqasxcvbbjkoplkmn';

return substr(str_shuffle($str),0,$len===0?mt_rand(10,strlen($str)):$len);

}

/*for($s = 1; $s <= $step; $s++) {

$start = ($s - 1) * $nums;

$result = mysqli_query($con,"SELECT * FROM `test` ".$where." ORDER BY `id` LIMIT {$start},{$nums}");

if($result) {

while($row = mysqli_fetch_assoc($result)) {

foreach($row as $key => $item) {

//这里必须转码，不然会乱码

$row[$key] = iconv("UTF-8", "GBK", $item);

}

fputcsv($fp, $row);

}

mysqli_free_result($result); //释放结果集资源

//每1万条数据就刷新缓冲区

ob_flush();

flush();

}

}*/

//断开连接

// mysqli_close($con);