当我们需要采集网络上的某个网页内容时,如果目标网站上的图片做了防盗链的话,我们直接采集过来的图片在自己网站上是不可用的。那么我们使用程序将目标网站上的图片下载到我们网站服务器上,然后就可调用图片了。
本文将使用PHP实现采集远程图片功能。基本流程:
1、获取目标网站图片地址。
2、读取图片内容。
3、创建要保存图片的路径并命名图片名称。
4、写入图片内容。
5、完成。
我们通过写几个函数来实现这一过程。
函数make_dir()建立目录。判断要保存的图片文件目录是否存在,如果不存在则创建目录,并且将目录设置为可写权限。
1 | function make_dir( $path ){ |
2 | if (! file_exists ( $path )){ |
3 | $mk =@ mkdir ( $path ,0777); |
函数read_filetext()取得图片内容。使用fopen打开图片文件,然后fread读取图片文件内容。
01 | function read_filetext( $filepath ){ |
02 | $filepath =trim( $filepath ); |
03 | $htmlfp =@ fopen ( $filepath , "r" ); |
05 | if ( strstr ( $filepath , "://" )){ |
06 | while ( $data =@ fread ( $htmlfp ,500000)){ |
12 | $string =@ fread ( $htmlfp ,@ filesize ( $filepath )); |
函数write_filetext()写文件,将图片内容fputs写入文件中,即保存图片文件。
1 | function write_filetext( $filepath , $string ){ |
3 | $fp =@ fopen ( $filepath , "w" ); |
函数get_filename()获取图片名称,也可以自定义要保存的文件名。
function get_filename($filepath){
$fr=explode("/",$filepath);
$count=count($fr)-1;
return $fr[$count];
}
然后将几个函数组合,在函数save_pic()中调用,最后返回保存后的图片路径。
01 | function save_pic( $url , $savepath = '' ){ |
04 | $url = str_replace ( " " , "%20" , $url ); |
06 | $string =read_filetext( $url ); |
11 | $filename = get_filename( $url ); |
15 | $filepath = $savepath . $filename ; |
17 | write_filetext( $filepath , $string ); |
最后一步就是调用save_pic()函数保存图片,我们使用以下代码做测试。
5 | echo save_pic( $pic , $savepath ); |
实际应用中,我们可能会采集某个站点的内容,比如产品信息,包括采集防盗链的图片保存到网站上服务器上。这时我们可以使用正则匹配页面内容,将页面中相匹配的图片都找出来,然后分别下载到网站服务器上,完成图片的采集。以下代码仅供测试:
1 | function get_pic( $cont , $path ){ |
2 | $pattern_src = '/<[img|IMG].*?src=[\'|\"](.*?(?:[\.gif|\.jpg]))[\'|\"].*?[\/]?>/' ; |
3 | $num = preg_match_all( $pattern_src , $cont , $match_src ); |
4 | $pic_arr = $match_src [1]; |
5 | foreach ( $pic_arr as $pic_item ) { |
6 | save_pic( $pic_item , $path ); |
然后我们通过分析页面内容,将主体内容找出来,调用get_pic()实现图片的保存。
4 | $content = file_get_contents ( $url ); |
5 | $preg = '#<div class="art_con">(.*)<div class="ivy620 ivy620Ex"></div>#iUs' ; |
6 | preg_match_all( $preg , $content , $arr ); |
以上代码笔者亲测,可以采集图片,但是还有些场景没考虑进去,比如目标网站做了302多次跳转的,目标网站做了多种防采集的,留给喜欢折腾的同学去试试吧。