文章来源PHP中文网
从此文章中 学习到了一个打开 标准输出流
这是个什么东东?
$fp=fopen('php://output','a'); 以追加的方式打开标准输出流。 这是一个新概念,一般情况下,都是打开文件读取。呵呵,记录下来
$title = array('ID','姓名','年龄','性别');
foreach($title as $key => $item) {
$title[$key] =iconv("UTF-8", "GBK", $item);
}
fpubcsv($fp,$title);
通过这里的学习 ,知道了 fputcsv直接可以写数组。
php代码及时清空是什么概念:set_time_limit(0);
ini_set('memory_limit', '3M');
printf("刚刚开始空间适用情况:%d\n
", memory_get_usage());
ob_start();
$data = [];
$clearNum=1;
for ($i = 1; $i
$data[] = [rand(1000, 9999), getContents(rand(3, 8)), rand(10, 60), rand(0, 1)];
printf("for循环{$i}适用情况:%d\n
", memory_get_usage());
if (count($data) >= 10) {
$data = [];
printf("清空了 %d 次data 空间适用量是:%d\n
",$clearNum, memory_get_usage());
$clearNum++;
}
//usleep(300);
}
printf("结束时的空间是:%d\n
", memory_get_usage());
function getContents($len = 0) {
$str = 'asdfghjklqwertyuiopzxcvbnm12345678900987654321wdfgvbnoiujhgfcxqasxcvbbjkoplkmn';
return substr(str_shuffle($str), 0, $len === 0 ? mt_rand(10, strlen($str)) : $len);
}
//执行结果:刚刚开始空间适用情况:362360
for循环1适用情况:379408
for循环2适用情况:379704
for循环3适用情况:380000
for循环4适用情况:380296
for循环5适用情况:380592
for循环6适用情况:380888
for循环7适用情况:381184
for循环8适用情况:381480
for循环9适用情况:382000
for循环10适用情况:382296
清空了 1 次data 空间适用量是:378840
for循环11适用情况:379408
for循环12适用情况:379704
for循环13适用情况:380000
for循环14适用情况:380296
for循环15适用情况:380592
for循环16适用情况:380888
for循环17适用情况:381184
for循环18适用情况:381480
for循环19适用情况:382008
for循环20适用情况:382312
清空了 2 次data 空间适用量是:378840
for循环21适用情况:379408
for循环22适用情况:379704
for循环23适用情况:380000
for循环24适用情况:380296
for循环25适用情况:380592
for循环26适用情况:380896
for循环27适用情况:381192
for循环28适用情况:381488
for循环29适用情况:382008
for循环30适用情况:382304
清空了 3 次data 空间适用量是:378840
for循环31适用情况:379408
for循环32适用情况:379704
for循环33适用情况:380000
for循环34适用情况:380296
for循环35适用情况:380592
for循环36适用情况:380888
for循环37适用情况:381184
for循环38适用情况:381480
for循环39适用情况:382008
for循环40适用情况:382312
清空了 4 次data 空间适用量是:378840
for循环41适用情况:379408
for循环42适用情况:379704
for循环43适用情况:380000
for循环44适用情况:380296
for循环45适用情况:380592
for循环46适用情况:380888
for循环47适用情况:381184
for循环48适用情况:381480
for循环49适用情况:382000
for循环50适用情况:382296
清空了 5 次data 空间适用量是:378840
for循环51适用情况:379408
for循环52适用情况:379712
for循环53适用情况:380016
for循环54适用情况:380320
for循环55适用情况:380616
for循环56适用情况:380912
for循环57适用情况:381208
for循环58适用情况:381504
for循环59适用情况:382024
for循环60适用情况:382328
清空了 6 次data 空间适用量是:378840
for循环61适用情况:379408
for循环62适用情况:379704
for循环63适用情况:380000
for循环64适用情况:380296
for循环65适用情况:380592
for循环66适用情况:380888
for循环67适用情况:381184
for循环68适用情况:381480
for循环69适用情况:382000
for循环70适用情况:382296
清空了 7 次data 空间适用量是:378840
for循环71适用情况:379408
for循环72适用情况:379704
for循环73适用情况:380008
for循环74适用情况:380304
for循环75适用情况:380600
for循环76适用情况:380896
for循环77适用情况:381192
for循环78适用情况:381496
for循环79适用情况:382016
for循环80适用情况:382312
清空了 8 次data 空间适用量是:378840
for循环81适用情况:379408
for循环82适用情况:379704
for循环83适用情况:380000
for循环84适用情况:380296
for循环85适用情况:380592
for循环86适用情况:380888
for循环87适用情况:381184
for循环88适用情况:381480
for循环89适用情况:382008
for循环90适用情况:382304
清空了 9 次data 空间适用量是:378840
for循环91适用情况:379416
for循环92适用情况:379712
for循环93适用情况:380016
for循环94适用情况:380312
for循环95适用情况:380608
for循环96适用情况:380904
for循环97适用情况:381200
for循环98适用情况:381496
for循环99适用情况:382016
结束时的空间是:381968
得出结论:for循环中,定时去释放内存,是可以节省内存的。
如果一味的输出是什么情况:set_time_limit(0);
ini_set('memory_limit', '3M');
//
$fileName = date('YmdHis', time());
header('Content-Encoding: UTF-8');
header("Content-type:application/vnd.ms-excel;charset=UTF-8");
header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');
ob_start();
$fp = fopen('php://output', 'a');
$title = array('ID','姓名','年龄','性别');
foreach($title as $key => $item) {
$title[$key] =iconv("UTF-8", "GBK", $item);
}
$logdata = [];
$logdata[]=sprintf("刚刚开始空间适用情况:%d\n
", memory_get_usage());
$clearNum=1;
for ($i = 0; $i
$logdata[]=sprintf("for循环{$i}使用情况:%d\n
", memory_get_usage());
$row=[rand(1000,9999),getContents(rand(3,8)),rand(10,60),rand(0,1)];
fputcsv($fp, $row);
//sleep(1);
ob_flush();
flush();
$logdata[]=sprintf("for循环{$i} flush 后使用情况:%d\n
", memory_get_usage());
/*if (count($data) >= 10) {
$data = [];
printf("清空了 %d 次data 空间适用量是:%d\n
",$clearNum, memory_get_usage());
$clearNum++;
}*/
//usleep(300);
}
$logdata[]=sprintf("结束时的空间是:%d\n
", memory_get_usage());
file_put_contents('datalog',implode('',$logdata));
function getContents($len = 0) {
$str = 'asdfghjklqwertyuiopzxcvbnm12345678900987654321wdfgvbnoiujhgfcxqasxcvbbjkoplkmn';
return substr(str_shuffle($str), 0, $len === 0 ? mt_rand(10, strlen($str)) : $len);
}
内存使用情况:刚刚开始空间适用情况:386024
for循环0使用情况:386616
for循环0 flush 后使用情况:387248
for循环1使用情况:387552
for循环1 flush 后使用情况:387888
for循环2使用情况:388192
for循环2 flush 后使用情况:388528
for循环3使用情况:388832
for循环3 flush 后使用情况:389176
for循环4使用情况:389704
for循环4 flush 后使用情况:390032
for循环5使用情况:390336
for循环5 flush 后使用情况:390680
for循环6使用情况:390984
for循环6 flush 后使用情况:391312
for循环7使用情况:391616
for循环7 flush 后使用情况:391960
for循环8使用情况:392712
for循环8 flush 后使用情况:393040
for循环9使用情况:393344
for循环9 flush 后使用情况:393680
for循环10使用情况:393984
for循环10 flush 后使用情况:394320
for循环11使用情况:394624
for循环11 flush 后使用情况:394960
for循环12使用情况:395264
for循环12 flush 后使用情况:395600
for循环13使用情况:395904
for循环13 flush 后使用情况:396248
for循环14使用情况:396552
for循环14 flush 后使用情况:396880
for循环15使用情况:397184
for循环15 flush 后使用情况:397520
for循环16使用情况:398720
for循环16 flush 后使用情况:399056
for循环17使用情况:399360
for循环17 flush 后使用情况:399696
for循环18使用情况:400000
for循环18 flush 后使用情况:400344
for循环19使用情况:400648
for循环19 flush 后使用情况:400976
for循环20使用情况:401280
for循环20 flush 后使用情况:401616
for循环21使用情况:401920
for循环21 flush 后使用情况:402256
for循环22使用情况:402560
for循环22 flush 后使用情况:402896
for循环23使用情况:403200
for循环23 flush 后使用情况:403536
for循环24使用情况:403840
for循环24 flush 后使用情况:404176
for循环25使用情况:404480
for循环25 flush 后使用情况:404816
for循环26使用情况:405120
for循环26 flush 后使用情况:405456
for循环27使用情况:405760
for循环27 flush 后使用情况:406096
for循环28使用情况:406400
for循环28 flush 后使用情况:406736
for循环29使用情况:407040
for循环29 flush 后使用情况:407376
for循环30使用情况:407680
for循环30 flush 后使用情况:408016
for循环31使用情况:408320
for循环31 flush 后使用情况:408664
for循环32使用情况:411272
for循环32 flush 后使用情况:411600
for循环33使用情况:411904
for循环33 flush 后使用情况:412248
for循环34使用情况:412552
for循环34 flush 后使用情况:412880
for循环35使用情况:413184
for循环35 flush 后使用情况:413520
for循环36使用情况:413824
for循环36 flush 后使用情况:414160
for循环37使用情况:414464
for循环37 flush 后使用情况:414808
for循环38使用情况:415112
for循环38 flush 后使用情况:415440
for循环39使用情况:415744
for循环39 flush 后使用情况:416080
for循环40使用情况:416384
for循环40 flush 后使用情况:416720
for循环41使用情况:417024
for循环41 flush 后使用情况:417360
for循环42使用情况:417664
for循环42 flush 后使用情况:418000
for循环43使用情况:418304
for循环43 flush 后使用情况:418640
for循环44使用情况:418944
for循环44 flush 后使用情况:419280
for循环45使用情况:419584
for循环45 flush 后使用情况:419920
for循环46使用情况:420224
for循环46 flush 后使用情况:420560
for循环47使用情况:420864
for循环47 flush 后使用情况:421208
for循环48使用情况:421512
for循环48 flush 后使用情况:421840
for循环49使用情况:422144
for循环49 flush 后使用情况:422480
for循环50使用情况:422784
for循环50 flush 后使用情况:423120
for循环51使用情况:423424
for循环51 flush 后使用情况:423760
for循环52使用情况:424064
for循环52 flush 后使用情况:424400
for循环53使用情况:424704
for循环53 flush 后使用情况:425040
for循环54使用情况:425344
for循环54 flush 后使用情况:425680
for循环55使用情况:425984
for循环55 flush 后使用情况:426320
for循环56使用情况:426624
for循环56 flush 后使用情况:426960
for循环57使用情况:427264
for循环57 flush 后使用情况:427608
for循环58使用情况:427912
for循环58 flush 后使用情况:428240
for循环59使用情况:428544
for循环59 flush 后使用情况:428880
for循环60使用情况:429184
for循环60 flush 后使用情况:429520
for循环61使用情况:429824
for循环61 flush 后使用情况:430160
for循环62使用情况:430464
for循环62 flush 后使用情况:430800
for循环63使用情况:431104
for循环63 flush 后使用情况:431440
for循环64使用情况:435840
for循环64 flush 后使用情况:436184
for循环65使用情况:436488
for循环65 flush 后使用情况:436816
for循环66使用情况:437120
for循环66 flush 后使用情况:437456
for循环67使用情况:437760
for循环67 flush 后使用情况:438096
for循环68使用情况:438400
for循环68 flush 后使用情况:438736
for循环69使用情况:439040
for循环69 flush 后使用情况:439376
for循环70使用情况:439680
for循环70 flush 后使用情况:440016
for循环71使用情况:440320
for循环71 flush 后使用情况:440656
for循环72使用情况:440960
for循环72 flush 后使用情况:441296
for循环73使用情况:441600
for循环73 flush 后使用情况:441944
for循环74使用情况:442248
for循环74 flush 后使用情况:442576
for循环75使用情况:442880
for循环75 flush 后使用情况:443216
for循环76使用情况:443520
for循环76 flush 后使用情况:443856
for循环77使用情况:444160
for循环77 flush 后使用情况:444496
for循环78使用情况:444800
for循环78 flush 后使用情况:445136
for循环79使用情况:445440
for循环79 flush 后使用情况:445776
for循环80使用情况:446080
for循环80 flush 后使用情况:446424
for循环81使用情况:446728
for循环81 flush 后使用情况:447056
for循环82使用情况:447360
for循环82 flush 后使用情况:447696
for循环83使用情况:448000
for循环83 flush 后使用情况:448336
for循环84使用情况:448640
for循环84 flush 后使用情况:448976
for循环85使用情况:449280
for循环85 flush 后使用情况:449624
for循环86使用情况:449928
for循环86 flush 后使用情况:450256
for循环87使用情况:450560
for循环87 flush 后使用情况:450904
for循环88使用情况:451208
for循环88 flush 后使用情况:451536
for循环89使用情况:451840
for循环89 flush 后使用情况:452176
for循环90使用情况:452480
for循环90 flush 后使用情况:452816
for循环91使用情况:453120
for循环91 flush 后使用情况:453456
for循环92使用情况:453760
for循环92 flush 后使用情况:454096
for循环93使用情况:454400
for循环93 flush 后使用情况:454736
for循环94使用情况:455040
for循环94 flush 后使用情况:455376
for循环95使用情况:455680
for循环95 flush 后使用情况:456024
for循环96使用情况:456328
for循环96 flush 后使用情况:456656
for循环97使用情况:456960
for循环97 flush 后使用情况:457296
for循环98使用情况:457600
for循环98 flush 后使用情况:457936
for循环99使用情况:458240
for循环99 flush 后使用情况:458576
结束时的空间是:458832
由此我们看到内存适用是一路飙升的,在导出数据的时候,注意内存使用情况
下面来看看完整的代码:
set_time_limit(0);
ini_set('memory_limit', '3M');
$fileName = date('YmdHis', time());
header('Content-Encoding: UTF-8');
header("Content-type:application/vnd.ms-excel;charset=UTF-8");
header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');
//打开php标准输出流
//以写入追加的方式打开
$fp = fopen('php://output', 'a');
//连接数据库
/*$dbhost = '127.0.0.1';
$dbuser = 'root';
$dbpwd = '';
$con = mysqli_connect($dbhost, $dbuser, $dbpwd);
if (mysqli_connect_errno()) {
die('connect error');
}
//选择数据库
$database = 'test';
mysqli_select_db($con, $database);
//设置编码
mysqli_query($con, "set names UTF8");
*/
//我们试着用fputcsv从数据库中导出1百万的数据
//我们每次取1万条数据,分100步来执行
//如果线上环境无法支持一次性读取1万条数据,可把$nums调小,$step相应增大。
$step = 100;
$nums = 10000;
$where = ""; //筛选条件
//设置标题
$title = array('ID','姓名','年龄','性别');
foreach($title as $key => $item) {
$title[$key] =iconv("UTF-8", "GBK", $item);
}
ob_start();
//将标题写到标准输出中
fputcsv($fp, $title);
for($i=0;$i<100;$i++){
$row=[rand(1000,9999),getContents(rand(3,8)),rand(10,60),rand(0,1)];
fputcsv($fp, $row);
sleep(1);
ob_flush();
flush();
}
function getContents($len=0){
$str='asdfghjklqwertyuiopzxcvbnm12345678900987654321wdfgvbnoiujhgfcxqasxcvbbjkoplkmn';
return substr(str_shuffle($str),0,$len===0?mt_rand(10,strlen($str)):$len);
}
/*for($s = 1; $s <= $step; $s++) {
$start = ($s - 1) * $nums;
$result = mysqli_query($con,"SELECT * FROM `test` ".$where." ORDER BY `id` LIMIT {$start},{$nums}");
if($result) {
while($row = mysqli_fetch_assoc($result)) {
foreach($row as $key => $item) {
//这里必须转码,不然会乱码
$row[$key] = iconv("UTF-8", "GBK", $item);
}
fputcsv($fp, $row);
}
mysqli_free_result($result); //释放结果集资源
//每1万条数据就刷新缓冲区
ob_flush();
flush();
}
}*/
//断开连接
// mysqli_close($con);