php curl preg_match_all,使用php preg_match_all&cURL从多个页面中抓取/下载图像

这段代码展示了如何使用PHP的cURL库从一个网站的不同页面批量抓取图像。每个图像位于形如'id/1'、'id/2'等的不同URL下。代码首先初始化cURL会话,设置超时和用户代理,然后执行请求获取页面内容。正则表达式用于匹配图像URL,并将其保存到本地。目前,代码仅处理单个URL,需要修改为数组以遍历所有页面。
摘要由CSDN通过智能技术生成

所以我试图从另一个网站抓取一些图像,问题是每个图像都在不同的页面上

IE:id / 1,id / 2,id / 3等等

到目前为止,我有下面的代码,可以从使用下面给出的单个URL获取图像:

$returned_content = get_data('http://somedomain.com/id/1/');

但需要让上面的一行成为一个数组(我猜)所以它将从第1页抓取图像,然后继续抓住第2页上的下一个图像,然后是第3页等等

function get_data($url){

$ch = curl_init();

$timeout = 5;

curl_setopt($ch,CURLOPT_URL,$url);

curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);

curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,$timeout);

curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');

$data = curl_exec($ch);

curl_close($ch);

return $data;

}

$returned_content = get_data('http://somedomain.com/id/1/');

if (preg_match_all("~http://somedomain.com/images/(.*?)\.jpg~i", $returned_content, $matches)) {

$src = 0;

foreach ($matches[1] as $key) {

if(++$src > 1) break;

$out = $key;

}

$file = 'http://somedomain.com/images/' . $out . '.jpg';

$dir = 'photos';

$imgurl = get_data($file);

file_put_contents($dir . '/' . $out . '.jpg', $imgurl);

echo 'done';

}

一如既往,所有的帮助都表示赞赏,并提前感谢.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值