php 线程安全 linux,linux下php实现多线程

博主分享了一段CI框架下的PHP代码,用于从包含150000个图片URL的文本文件中批量下载图片。通过将文件拆分成10个部分并启动10个进程来加速下载。每个进程负责下载15000个URL。代码中使用`file_get_contents`和`file_put_contents`函数下载并保存图片,同时利用`system`调用PHP脚本来实现多线程。文章寻求优化建议,希望提高下载速度。
摘要由CSDN通过智能技术生成

今天遇到个问题,写了个程序从网上抓了150000个图片的地址,存到了txt文档中,每行存了一个图片的地址。现在想将图片下载下来,保存到本机,但是下载的速度不是很快,所以用到了php在linux下面实现多线程,首先将txt文件拆成了10个大小相等的文件,每个文件存储了15000条图片的地址,同时开启10个进行运行保存图片的程序,这样的时间可能就只是原来的1/10。下面将程序贴出来 ,大家指导一下有没有更好的方法。

71 function for_save_img($num)

72 {

73 for($i = 0; $i <= $num; $i++)

74 {

75 system("/usr/local/bin/php index.php crawl save_img {$i} & > /tmp/null");

76 }

77 }

78

79 function save_img($num)

80 {

81 static $i = 0;

82 //把文件读成一个数组

83 $img_urllists = ROOTDIRPATH . "/static/image_{$num}.txt";

84 $arr_img_url = file($img_urllists);

85 foreach($arr_img_url as $imageurl)

86 {

87 $imageurl = trim($imageurl);

88 echo $imageurl;

89 $this->benchmark->mark("code_start");

90 //存图片

91 $final_imageurl = "http://www.****.com/upload/UploadFile/" . $imageurl;

92 $img_open = file_get_contents($final_imageurl);

93 $ret = file_put_contents(ROOTDIRPATH . '/static/uploadimg/' . $imageurl, $img_open);

94 if($ret)

95 {

96 echo "Success......";

97 }

98 $this->benchmark->mark('code_end');

99

100 echo $this->benchmark->elapsed_time('code_start', 'code_end');

101 }

102 }

该程序为ci框架下  在linux的shell下 网站的根目录运行   php index.php crawl for_save_img

大家有好的建议欢迎提出 虚心接受

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值