Java爬虫之宽度优先爬虫

在实际应用中，使用网络爬虫遍历互联网，把网络中我们感兴趣的网页全部抓取过来。为便于理解，我们把整个Internet看做一个超级大图，每个页面作为图中的一个节点，页面中的超链接可看做图中的有向边。爬虫在抓取网页过程中有两种遍历方式：深度优先遍历和宽度优先遍历。由于在深度优先遍历中，随着遍历深度的增加，可能抓取到的网页与主题的相关性降低，所以一般不采用这种遍历方式。在实际中开发者总喜欢将相关主题的链接放在同一个页面中，故按照宽度优先遍历的方式抓取的网页与主题相关性大大增强。有的时候也不能完全的按照宽度优先的方式，而是给待遍历的网页赋予一定的优先级，根据优先级进行遍历，我们称之为带偏好的遍历。

图的宽度优先遍历

我们说爬虫，是从一个点开始爬取的，从一个点爬取到另外一个点。这里假设A是我们的顶点，那么我们的具体算法如下。

1.原始节点A入队列

2.当队列里面的值不为空时，执行方法三，否则该算法为空。

3.出队列，获得对头节点A，访问节点A并且标记A已经被访问过了。

4.查找节点A的第一个邻接顶点col。

 5.若节点A相邻的其他节点，比如B,C,D,E，都没有访问过，讲会依次访问这节节点。这里会循环执行4和5的步骤，直到访问完相邻节点在执行步骤6；

6.若没有找到相邻节点了，将会把F节点顶级节点，重复步骤。

宽度优先遍历互联网

实际的爬虫项目是从一系列的种子链接开始的。所谓的种子链接，就好比宽度优先先遍历中的种子节点一样，实际的爬虫项目中种子链接可以有多个，而宽度优先的种子节点只有一个，必然要可以指定：http://www.csdn.net/像首页这样的宽度。

在页面中每个链接对应一个HTML页面货主其他文件，在这些文件中，每个页面都有对应的子节点，这些子节点就是HTML页面上对应的超链接。比如：

我们认为页面上每一个可以点击进去的超链接都是子节点，现在可以幻想一下整个页面的节点图。

整个宽度优先爬虫过程就是从一系列的种子节点开始，把这些网页的“子节点”也就是超链接提取出来，放入队列中依次进行抓取。被处理过的连接需要放入一张表中。每次新处理一个连接之前，需要查看这个连接是否已经存在于表中，如果存在，证明链接已经处理过，跳过，不做处理，否则就进行下一步处理。

初始的URL地址是爬虫系统中提供的种子URL（一般在系统的配置文件中指定）。当解析这些种子的URL所表示的网页时，会产生新的URL然后进行一下工作；

1.把解析出的链接和Visited表中的链接进行比较，若Visited表中不存在其链接，表示其从未被访问过。

2.把链接放入到TODO表中。

3.处理完毕后，再次从TODO表中取得一条链接，直接放入Visited表中。

4.针对这个链接所表示的网页，继续上述过程，如此往复循环。

宽度优先遍历是爬虫中使用最广泛的一种策略，之所以使用宽度优先搜索策略，主要有以下三点:

1.重要的网页往往离种子比较近，例如我们打开网址首页往往是最热门的资讯，随着不断的点击深入，所看到的网页的重要性越来越低。

2.万维网的实际深度最多只能达到17层，但到达某个网页总存在一条最短路径，而宽度优先遍历会以最快的速度到达这个网页。

3.宽度优先有利于多爬虫的合作抓取，多爬虫合作通常先抓取站内链接，被抓取的封闭性很强。

例子：

使用 HttpClient 和 HtmlParser 实现简易爬虫

前面有讲过HttpClient，这里重点说一下HTMLParser；

HtmlParser 简介

当今的 Internet 上面有数亿记的网页，越来越多应用程序将这些网页作为分析和处理的数据对象。这些网页多为半结构化的文本，有着大量的标签和嵌套的结构。当我们自己开发一些处理网页的应用程序时，会想到要开发一个单独的网页解析器，这一部分的工作必定需要付出相当的精力和时间。事实上，做为 JAVA 应用程序开发者， HtmlParser 为其提供了强大而灵活易用的开源类库，大大节省了写一个网页解析器的开销。 HtmlParser 是 http://sourceforge.net 上活跃的一个开源项目，它提供了线性和嵌套两种方式来解析网页，主要用于 html 网页的转换(Transformation) 以及网页内容的抽取 (Extraction)。HtmlParser 有如下一些易于使用的特性：过滤器 (Filters)，访问者模式 (Visitors)，处理自定义标签以及易于使用的 JavaBeans。正如 HtmlParser 首页所说：它是一个快速，健壮以及严格测试过的组件；以它设计的简洁，程序运行的速度以及处理 Internet 上真实网页的能力吸引着越来越多的开发者。 本文中就是利用HtmlParser 里提取网页里的链接，实现简易爬虫里的关键部分

感觉使用JAVA就是好，开源库绝对是最好最多的，什么PHP真的不能比。好了感慨一下，下面正式开始。

这里首先创建一个队列用来保存TODO

/** 
 * 自定义队列类 保存TODO表 
 */  
public class Queue {
		//使用链表实现队列
	private   static final LinkedList<Object> queue;
	static{
		queue=new LinkedList<Object>();
	}
	/** 
	  * 将t加入到队列中 
	  */  
	 public void inQueue(Object t) {  
	  queue.addLast(t);  
	 }  
	 /** 
	  * 移除队列中的第一项并将其返回 
	  */  
	 public Object outQueue() {  
	  return queue.removeFirst();  
	 }  
	 /** 
	  * 返回队列是否为空 
	  */  
	 public boolean isQueueEmpty() {  
	  return queue.isEmpty();  
	 }  
	 /** 
	  * 判断并返回队列是否包含t 
	  */  
	 public boolean contians(Object t) {  
	  return queue.contains(t);  
	 }  
	 /** 
	  * 判断并返回队列是否为空 
	  */  
	 public boolean empty() {  
	  return queue.isEmpty();  
	 }  
	
}

除了URL队列之外，在爬虫过程中，还需要一个数据结构来记录已经访问过的URL，每当需要访问一个URL的时候，首先在这个数据结构中进行查找，如果当前的URL已经存在，则丢弃它，这个数据结构有几个特点：

1.结构中保存的URL不能重复。
2.能够快速的查找。

3.不需要使用键值对的方式存储。

所以我们抛弃了Map，而使用HashSet作为存储结构。

public class SetQueue {
	/** 
	  * 已访问的url集合，即Visited表 
	  */  
	private static Set visitedUrl=new HashSet();
	//待访问的URL集合
	private static Queue unVisitedUrl=new Queue();
	
	/** 
	  * 添加到访问过的 URL 队列中 
	  */  
	 public static void addVisitedUrl(String url) {  
	  visitedUrl.add(url);  
	 }  
	 /** 
	  * 移除访问过的 URL 
	  */  
	 public static void removeVisitedUrl(String url) {  
	  visitedUrl.remove(url);  
	 }  
	 /** 
	  * 获得已经访问的 URL 数目 
	  */  
	 public static int getVisitedUrlNum() {  
	  return visitedUrl.size();  
	 }  
	 /** 
	  * 获得UnVisited队列 
	  */  
	 public static Queue getUnVisitedUrl() {  
	  return unVisitedUrl;  
	 }  
	 /** 
	  * 未访问的unVisitedUrl出队列 
	  */  
	 public static Object unVisitedUrlDeQueue() {  
	  return unVisitedUrl.outQueue();  
	 }  
	 /** 
	  * 保证添加url到unVisitedUrl的时候每个 URL只被访问一次 
	  */  
	 public static void addUnvisitedUrl(String url) {  
	  if (url != null && !url.trim().equals("") && !visitedUrl.contains(url)  
	    && !unVisitedUrl.contians(url))  
	   unVisitedUrl.inQueue(url);  
	 }  
	 /** 
	  * 判断未访问的 URL队列中是否为空 
	  */  
	 public static boolean unVisitedUrlsEmpty() {  
	  return unVisitedUrl.empty();  
	 }  
}

下面的代码详细说明了网页下载并处理的过程，和以前的相比，它考虑了如何存储网页，设置超时策略等等。

public class DownLoad {
	/** 
	  * 根据 URL 和网页类型生成需要保存的网页的文件名，去除 URL 中的非文件名字符 
	  */  
	 private String getFileNameByUrl(String url, String contentType) {  
	  // 移除 "http://" 这七个字符  
	  url = url.substring(7);  
	  // 确认抓取到的页面为 text/html 类型  
	  if (contentType.indexOf("html") != -1) {  
	   // 把所有的url中的特殊符号转化成下划线  
	   url = url.replaceAll("[\\?/:*|<>\"]", "_") + ".html";  
	  } else {  
	   url = url.replaceAll("[\\?/:*|<>\"]", "_") + "."  
	     + contentType.substring(contentType.lastIndexOf("/") + 1);  
	  }  
	  return url;  
	 }  
	 /** 
	  * 保存网页字节数组到本地文件，filePath 为要保存的文件的相对地址 
	  */  
	 private void saveToLocal(byte[] data, String filePath) {  
	  try {  
	   DataOutputStream out = new DataOutputStream(new FileOutputStream(  
	     new File(filePath)));  
	   for (int i = 0; i < data.length; i++)  
	    out.write(data[i]);  
	   out.flush();  
	   out.close();  
	  } catch (IOException e) {  
	   e.printStackTrace();  
	  }  
	 }  
	 // 下载 URL 指向的网页  
	 public String downloadFile(String url) {  
	  String filePath = null;  
	  // 1.生成 HttpClinet对象并设置参数  
	  HttpClient httpClient = new HttpClient();  
	  // 设置 HTTP连接超时 5s  
	  httpClient.getHttpConnectionManager().getParams()  
	    .setConnectionTimeout(5000);  
	  // 2.生成 GetMethod对象并设置参数  
	  GetMethod getMethod = new GetMethod(url);  
	  // 设置 get请求超时 5s  
	  getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT, 5000);  
	  // 设置请求重试处理  
	  getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,  
	    new DefaultHttpMethodRetryHandler());  
	  // 3.执行GET请求  
	  try {  
	   int statusCode = httpClient.executeMethod(getMethod);  
	   // 判断访问的状态码  
	   if (statusCode != HttpStatus.SC_OK) {  
	    System.err.println("Method failed: "  
	      + getMethod.getStatusLine());  
	    filePath = null;  
	   }  
	   // 4.处理 HTTP 响应内容  
	   byte[] responseBody = getMethod.getResponseBody();// 读取为字节数组  
	   // 根据网页 url 生成保存时的文件名  
	   filePath = "temp\\"  
	     + getFileNameByUrl(url,  
	       getMethod.getResponseHeader("Content-Type")  
	         .getValue());  
	   saveToLocal(responseBody, filePath);  
	  } catch (HttpException e) {  
	   // 发生致命的异常，可能是协议不对或者返回的内容有问题  
	   System.out.println("请检查你的http地址是否正确");  
	   e.printStackTrace();  
	  } catch (IOException e) {  
	   // 发生网络异常  
	   e.printStackTrace();  
	  } finally {  
	   // 释放连接  
	   getMethod.releaseConnection();  
	  }  
	  return filePath;  
	 }  
}

接下来，将要从获得的网页中提取URL，现在就要使用到我们的 HtmlParser。

public class HtmlParserTool {
	// 获取一个网站上的链接，filter 用来过滤链接  
	 public static Set<String> extracLinks(String url, LinkFilter filter) {  
	  Set<String> links = new HashSet<String>();  
	  try {  
	   Parser parser = new Parser(url);  
	   parser.setEncoding("gb2312");  
	   // 过滤 <frame >标签的 filter，用来提取 frame 标签里的 src 属性  
	   NodeFilter frameFilter = new NodeFilter() {
		
		@Override
		public boolean accept(Node node) {
			  if (node.getText().startsWith("frame src=")) {  
			      return true;  
			     } else {  
			      return false;  
			     }  
			    } 
		};
	   // OrFilter 来设置过滤 <a> 标签和 <frame> 标签  
	   OrFilter linkFilter = new OrFilter(new NodeClassFilter(  
	     LinkTag.class), frameFilter);  
	   // 得到所有经过过滤的标签  
	   NodeList list = parser.extractAllNodesThatMatch(linkFilter);  
	   for (int i = 0; i < list.size(); i++) {  
	    Node tag = list.elementAt(i);  
	    if (tag instanceof LinkTag)// <a> 标签  
	    {  
	     LinkTag link = (LinkTag) tag;  
	     String linkUrl = link.getLink();// URL  
	     if (filter.accept(linkUrl))  
	      links.add(linkUrl);  
	    } else// <frame> 标签  
	    {  
	     // 提取 frame 里 src 属性的链接， 如 <frame src="test.html"/>  
	     String frame = tag.getText();  
	     int start = frame.indexOf("src=");  
	     frame = frame.substring(start);  
	     int end = frame.indexOf(" ");  
	     if (end == -1)  
	      end = frame.indexOf(">");  
	     String frameUrl = frame.substring(5, end - 1);  
	     if (filter.accept(frameUrl))  
	      links.add(frameUrl);  
	    }  
	   }  
	  } catch (ParserException e) {  
	   e.printStackTrace();  
	  }  
	  return links;  
	 }  
}

最后写我们的爬虫主方法：

public class MyCrawler {
	/** 
	  * 使用种子初始化URL队列 
	  */  
	 private void initCrawlerWithSeeds(String[] seeds) {  
	  for (int i = 0; i < seeds.length; i++)  
	   SetQueue.addUnvisitedUrl(seeds[i]);  
	 }  
	 // 定义过滤器，提取以 <a target=_blank href="http://www.xxxx.com/" style="color: rgb(0, 102, 153); text-decoration: none;">http://www.xxxx.com</a>开头的链接  
	 public void crawling(String[] seeds) {  
	  LinkFilter filter = new LinkFilter() {  
	   @Override
	public boolean accept(String url) {  
	    if (url.startsWith("http://www.csdn.net/"))  
	     return true;  
	    else  
	     return false;  
	   }  
	  };  
	  // 初始化 URL 队列  
	  initCrawlerWithSeeds(seeds);  
	  // 循环条件：待抓取的链接不空且抓取的网页不多于 1000  
	  while (!SetQueue.unVisitedUrlsEmpty()  
	    && SetQueue.getVisitedUrlNum() <= 1000) {  
	   // 队头 URL 出队列  
	   String visitUrl = (String) SetQueue.unVisitedUrlDeQueue();  
	   if (visitUrl == null)  
	    continue;  
	   DownLoad downLoader = new DownLoad();  
	   // 下载网页  
	   downLoader.downloadFile(visitUrl);  
	   // 该 URL 放入已访问的 URL 中  
	   SetQueue.addVisitedUrl(visitUrl);  
	   // 提取出下载网页中的 URL  
	   Set<String> links = HtmlParserTool.extracLinks(visitUrl, filter);  
	   // 新的未访问的 URL 入队  
	   for (String link : links) {  
	    SetQueue.addUnvisitedUrl(link);  
	   }  
	  }  
	 }  
	
	 public static void main(String[] args) {  
	  MyCrawler crawler = new MyCrawler();  
	  crawler.crawling(new String[] { "http://www.csdn.net/" });  
	 }  
}

这里去抓取CSDN的主页，不过结果只抓取到了

然后出现了

Invalid uri 'http://www.csdn.net/tag/云计算': escaped absolute path not valid 小样的下次再抓取你。

最后附上一张抓取的流程图

源码如下

点击打开链接