php自动抓取文章图片,基于php语言的图片抓取总结

今天在浏览简书的时候，发现几个非常帮的摄影网站，上面的图片美轮美奂,不禁生起把他们全部挡到本地来的想法。并且之前有做过有关抓取的项目，故整理了下将心得体会总结出来供大家参考。

一   简介抓取图片的流程我们常用到抓取图片的方式有很多，如：使用curl方法，fiel_get_content方法,readfile方法,fopen方法。。。。。。可谓是多种多样！但是他们的原理大抵相似：

1 获取图片所在页面的url地址；

      2 获取到目标页面的内容后，将标签的相关信息用正则匹配出来；

3 得到img的src属性的信息后，获取图片的内容；

4 在本地创建文件，将第3步获取到的内容写入文件；

经过以上4步，本地就保存好了你中意的图片了。下面我们来更详细的看下(从代码角度)，在这里我只试用2种方法(curl和file_get_content)。

二  使用file_get_content方法抓取图片(get方式)

1 首先定义2个函数(getResources() 和 downloadImg())分别是获取页面内容的和下载图片到本地的函数!代码如下:

getResources($url)

downloadImg($imgPath)2 主程序如下:

//定义本地目录(存放图片)

define("IMG_PATH","/home/www/test/img/");

//获取页面内容

$url = "访问目标的路径";

//该函数会将获取到的内容放在一个字符串中

$str = getResources($url);

//匹配出img标签中的 src属性的信息;这里换成data-original属性,是因为该页面使用了延时加载机制

 preg_match_all("|]+data-original=['\" ]?([^ '\"?]+)['\" >]|U",$str,$array,PREG_SET_ORDER);

//因上一步中 我们选择了PREG_SET_ORDER排序,故$value[1]中便为我们所要下载图片的路径

$k = 0;

foreach ($array as $key => $value)

{

$res = downloadImg($value[1]);

if($res)    $k++;

}

echo "成功抓取的图片张数为: $k";程序结束,这里需要注意的有以下几点:

1)  preg_match_all()函数的第四个参数是可选的,分别为:PREG_PATTERN_ORDER(默认),

PREG_SET_ORDER,PREG_OFFSET_CAPTURE，这三种方式在我看来就是3种不同的排序，它只会影响你匹配结果的表现形式。第四个参数不传的话会默认为PREG_PATTERN_ORDER，而在本例则使用了PREG_SET_ORDER排序。这一方面，php手册上有很详细的介绍，建议大家在这一步时能查看下手册以便加深印象。

    2)  在正则表达式中我们匹配的是标签中的data-original属性里的值，来说下这个正则，首先匹配到的是标签信息,之后用子匹配方式匹配出data-original属性里的值。值得注意的是，现在有很多摄影类(图片类)网站为了效果的更好展示大部分会使用延时加载设置，如果我们还按之前的方式去匹配src属性的话，只能得到标签的默认显示图片,很明显这不是我们需要的,所以匹配data-original属性(存放真正的图片路径);

3)  如果请求的页面过大，程序运行需要时间过长的话，请在程序开头加上这段代码：

set_time_limit(120);    //修改程序执行时间为120s(自己看着来)

二  使用curl方法抓取图片(post方式)在上面我们用的是file_get_content()函数的get方式抓取,这里我们换成curl的post方式。(每种方法都有两种方式)

1  定义使用curl方法抓取图片的函数

curlResources($url)

2  主程序中将 $str = getResources($url) 改为 $str = curlResources($url) 即可。

三  两种方法的执行效率对比1  file_get_contents 每次请求都会重新做DNS查询，并不对DNS信息进行缓存。但是CURL会自动对DNS信息进行缓存。对同一域名下的网页或者图片的请求只需要一次DNS查询。这大大减少了DNS查询的次数。所以CURL的性能比file_get_contents 好很多。

2  file_get_contents在请求HTTP时，使用的是http_fopen_wrapper，不会keeplive(保持链接状态)。而curl却可以。这样在多次请求多个链接时，curl效率会好一些。

3  相对file_get_content而言curl方法请求更多样化,如可以请求FTP协议,SSL协议...等一些资源。

总结1 php手册的重要性，有时候你查看再多的资料不如看一眼手册，对于一些函数上面有很详细的介绍，在我动手前，我根本就没记住preg_match_all()会有第四个参数。

2  严谨对待代码结构，马虎不得。使其结构合理化，清晰明了，复用率高。

3  实践出真知，多动手才能记得牢。看再多遍不如敲上一遍来得亲切(请允许我使用这个词语)，这样才能牢记这个流程的实现原理。

4  拓展一下，抓取该页面包括其子页面内的图片与这原理是一样的，无非是找出标签的href里的url来做遍历，再去分别抓去图片...这里就不赘述了。以上就是我在这次抓取图片过程的心得体会，希望对大家能有所帮助，其中有什么不正确的地方，欢迎大家来批评指正！