java爬虫爬取百度图片_Java实现爬取百度图片的方法分析

本文实例讲述了Java实现爬取百度图片的方法。分享给大家供大家参考，具体如下：

在以往用java来处理解析HTML文档或者片段时，我们通常会采用htmlparser(http://htmlparser.sourceforge.net/)这个开源类库。现在我们有了JSOUP，以后的处理HTML的内容只需要使用JSOUP就已经足够了，JSOUP有更快的更新，更方便的API等。

jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据，可以看作是java版的jQuery。

jsoup的主要功能如下：

从一个URL，文件或字符串中解析HTML；

使用DOM或CSS选择器来查找、取出数据；

可操作HTML元素、属性、文本；

jsoup是基于MIT协议发布的，可放心使用于商业项目。官方网站：http://jsoup.org/

步骤大致可以分为三个模块：一是获取网页的资源，二是解析获取的资源，取出我们想要的图片URL地址，三是通过java的io存储在本地文件中。

获取网页资源的核心模块就是通过Jsoup去获取网页的内容，具体核心代码如下：

private static List findImageNoURl(String hotelId, String url, int timeOut) {

List result = new ArrayList();

Document document = null;

<