如何优化mysql写入速_如何优化文件写入速度

如何优化文件写入速度,根据计算的分库分表,每次文件写入的位置都不同,如果有100w条数据,这样的文件IO是拖慢程序速度

看代码,求大神给优化意见

$inputfile = "logs.txt";//输入日志文件,每字段以\t分隔,每行以\n结尾

$fp = fopen($inputfile,'r');

if(!is_resource($fp)){

echo "打开文件".$inputfile."失败,分析日志程序终止";

exit(1);

}

while(!feof($fp)){

$row = fgets($fp,4096);

str_replace(array("\r","\n"),array("",""),$row);//去除行中的换行符

if($row == ''){

continue;

}

$arrRec = explode("\t",$row);//将一行字符串以\t分隔为数组

$accountid = $arrRec[6];//账户id

//下面由文字说明

/**

* 根据一行中的$accountid,调用底层函数算出分库分表位置

* 例如分库为groupid = 5

* 分表名为table_0001

*/

$groupid = 5;

$tableid = "table_0001";

//在此处拼接要写入的文件路径

$outputfile = "tmp/".$groupid."/".$tableid;//这个值每读一行数据,根据accountid计算的的结果都会变

$content = "\t".$arrRec[0]."\t".$accountid."\t".$groupid."\n";//拼接要写入文件的内容

if(file_put_contents($outputfile,$content,FILE_APPEND))

{

$success++;

$content = '';

}

else

{

$failure++;

}

}

fclose($fp);

每次只能写入一条数据,100w条大约要30分钟,速度很慢,如何优化;经测试,如果目标文件路径不变,将全部要写入的内容拼接为一个长字符串,然后在while循环结束后面调用一次file_put_contents函数,一次性将全部内容写入文件速度回快很多;但现在遇到的问题是每次写入的目标路径都会改变,求优化意见

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值