Crawler学习：3.Crawler Design

声明：所有内容均为本人学习《自己动手写网络爬虫》心得，有任何疑问可以参考原文。

爬虫示例结构示意图

我们可以简单得把每一个url代表的网页看作一个节点，那么网络可以看成是由若干个节点及其边组成的图。

那么爬虫的过程就是要遍历这个图，搜索我们有用的信息。

遍历图的过程有很多种，最简单的为宽度遍历、深度遍历。

以宽度遍历为例，假设我们的爬虫不具有任何偏好，我们规定它的爬行路线为宽度遍历的路线。

宽度遍历首先需要一个存储队列，也就是我们的爬虫队列。

package chici.structure;

import java.util.LinkedList;

public class Queue {
	private LinkedList queue = new LinkedList();
	// 进队列
	public void enQueue(Object obj){
		queue.addLast(obj);
	}
	// 出队列
	public Object deQueue(){
		return queue.removeFirst();
	}
	// 判断队列是否为空
	public boolean isQueueEmpty(){
		return queue.isEmpty();
	}
	//判断队列是否包含obj
	public boolean contians(Object obj) {
		return queue.contains(obj);
	}
}

及爬虫队列的操作方法。

package chici.structure;

import java.util.HashSet;
import java.util.Set;

public class LinkQueue {
	private static Set visitedUrl = new HashSet();
	private static Queue unvisitedUrl = new Queue();
	
	// 获得URL队列
	public static Queue getUnVisitedUrl(){
		return unvisitedUrl;
	}
	// 添加到访问过的URL队列
	public static void addVisitedUrl(String url){
		visitedUrl.add(url);
	}
	//移除访问过的URL
	public static void removeVisitedUrl(String url) {
		visitedUrl.remove(url);
	}
	//未访问的URL 出队列
	public static Object unVisitedUrlDeQueue() {
		return unvisitedUrl.deQueue();
	}
	// 保证每个URL 只被访问一次
	public static void addUnvisitedUrl(String url) {
		if (url != null && !url.trim().equals("")
			&& !visitedUrl.contains(url)
			&& !unvisitedUrl.contians(url) )
		unvisitedUrl.enQueue(url);
	}
	//获得已经访问的URL 数目
	public static int getVisitedUrlNum() {
		return visitedUrl.size();
	}
	//判断未访问的URL 队列中是否为空
	public static boolean unVisitedUrlsEmpty() {
		return unvisitedUrl.isQueueEmpty();
	} 
}

除此之外，我们以url作为搜索索引。

当然我们通过url获得的是整个网页内容，我们需要一个HTML提取工具(HtmlPaserTool)从网页中提取url。

package chici.util;

import java.util.HashSet;
import java.util.Set;

import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;

public class HtmlParserTool {
	// 获取一个网站上的链接，filter 用来过滤链接
	public interface LinkFilter {
		public boolean accept(String url);
	}
	
	public static Set<String> extracLinks(String url, LinkFilter filter) {
		Set<String> links = new HashSet<String>();
		try {
			Parser parser = new Parser(url);
			parser.setEncoding("UTF-8");

			NodeFilter frameFilter = new TagNameFilter("A");
	
			// OrFilter 来设置过滤<a> 标签和<frame> 标签
			OrFilter linkFilter = new OrFilter(new NodeClassFilter(LinkTag.class), frameFilter);
			// 得到所有经过过滤的标签
			NodeList list = parser.extractAllNodesThatMatch( linkFilter );
			
			for (int i = 0; i < list.size(); i++) {
				Node tag = (Node) list.elementAt(i);
				if (tag instanceof LinkTag){
					LinkTag link = (LinkTag) tag;
					String linkUrl = link.getLink();// URL		
					//if (filter.accept(linkUrl))
						links.add(linkUrl);
				} 
			}
		} catch (ParserException e) {
			e.printStackTrace();
		}
		return links;
	}
}

之后就是进行宽度遍历，方法在此就不赘述了。见代码吧。

package chici.util;

import java.util.Set;

import chici.structure.LinkQueue;
import chici.util.HtmlParserTool.LinkFilter;

public class ChiciBug {
	/**
	* 使用种子初始化URL 队列
	* @return
	* @param seeds 种子URL
	*/
	private void initCrawlerWithSeeds(String[] seeds)	{
		for( int i=0; i<seeds.length; i++ )
			LinkQueue.addUnvisitedUrl(seeds[i]);
	}

	/**
	* 抓取过程
	* @return
	* @param seeds
	*/
	public void crawling(String[] seeds)	{ 
		//定义过滤器，提取以http://www.baidu.com 开头的链接
		LinkFilter filter = new LinkFilter(){
			public boolean accept(String url) {
					if(url.startsWith("http://www.baidu.com"))
						return true;
					else
						return false;
			}
		};
		//初始化URL 队列
		initCrawlerWithSeeds(seeds);
		
		//循环条件：待抓取的链接不空且抓取的网页不多于1000
		while( !LinkQueue.unVisitedUrlsEmpty()	&& LinkQueue.getVisitedUrlNum() <= 1000 )	{
			//队头URL 出队列
			String visitUrl=(String)LinkQueue.unVisitedUrlDeQueue();
			if(visitUrl==null) 	continue;
			DownloadFile downLoader=new DownloadFile();
			//下载网页
			downLoader.downloadFile(visitUrl);
			//该URL 放入已访问的URL 中
			LinkQueue.addVisitedUrl(visitUrl);
			//提取出下载网页中的URL
			Set<String> links=HtmlParserTool.extracLinks(visitUrl,filter);
			//新的未访问的URL 入队
			for(String link:links){
				LinkQueue.addUnvisitedUrl(link);
			}
		}
	}
	//main 方法入口
	public static void main(String[]args){
		ChiciBug chici = new ChiciBug();
		chici.crawling(new String[]{"http://www.baidu.com"});
		System.out.println("Crawling over.");
	}
}

我们的爬虫只分析出url，并download整个网页。之后我们遍可以进一步筛选我们需要的信息。