爬虫(三)-NIO下载服务NIOFetcher的设计

       之前写的一个爬虫下载部分使用HttpClient，效率相当不敢恭维，最近打算使用NIO实现该部分，记录一下设计及实现过程中遇到的的问题。

一.基本思路

        以下为可能会犯的错误

         1.连接到同一服务器的SocketChannel数量过多

            看到很多人用SocketChannel模拟Http请求实现方式几乎都是为每一个域名下的URL注册一个SocketChannel,这种方式有一个弊端，不论从横向(多域名)还是纵向(同一域名)，SocketChannel的总量不好控制，这就使我们很难在带宽与下载效率上进行权衡。

          2.频繁的打开、关闭SocketChannel

             我们很期望从本机到远程服务器能够建立几个相对稳定的长连接，以减少频繁打开、关闭Socket连接的资源消耗，但是还有另外一个问题:我们需要礼貌爬取，即使你选择"疯狂"爬取，也要考虑远程服务器强制关闭Socket连接的问题。权衡一下，我更倾向于使Socket可以保持一定时间的连接(可以叫做半长连接)，打开一定时间的Socket连接在完成最后一次下载任务后就要关闭。

    

综合以上两个因素，我选择为同一域名的URL注册一定数量的(可配置，以适应下载服务器的性能与带宽的变动)Socket连接，以该值为阀值并辅以Socket连接服务时长对Socket连接数量进行横向与纵向的控制。

二.设计

   主要结构如下图所示：

                                         

其中IURLRegister与IFetchedURLHandler分别供爬行模块与文件持久化模块调用。

三.主要接口及实现类代码

         

package com.crazygeeker.search.fetcher;
/**
 * A service designed for download remote file.
 * <p>Provide basic operations such as <tt>start</tt><tt>shutdown</tt></p> 
 * @author JohnWang
 * @version 1.0
 * @date 2013-11-11
 */
public interface IFetcher {

	void start();
	
	void shutdown();
}

package com.crazygeeker.search.fetcher;

import com.crazygeeker.search.common.model.URLBean;
/**
 * register the url waiting for downloading
 * 
 * @author JohnWang
 * @version 1.0
 * @date 2013-11-11
 */
public interface IURLBeanRegister {
	/**
	 * 
	 * @param urlBean
	 * @return
	 */
	boolean register(URLBean urlBean);
}

package com.crazygeeker.search.fetcher;

import com.crazygeeker.search.common.model.URLBean;
/**
 * An interface for data upload
 * @author JohnWang
 * @version 1.0
 * @date 2013-11-11
 */
public interface IFetchedURLHandler {

	URLBean getURLBean();
}

          

package com.crazygeeker.search.fetcher;

import java.io.IOException;
import java.nio.channels.Selector;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.PriorityBlockingQueue;
import java.util.concurrent.atomic.AtomicBoolean;

import com.crazygeeker.search.common.model.URLBean;
import com.crazygeeker.search.common.utils.LoggerUtils;
/**
 * 
 * @author JohnWang
 * @version 1.0
 * @date 2013-11-11
 */
public abstract class AbstractNIOFetcher implements IFetcher {

	protected Selector selector;
	/**
	 * 
	 */
	protected AtomicBoolean isRunning = new AtomicBoolean(false);
	/**
	 * 
	 */
	protected BlockingQueue<URLBean> pendingQueue = new PriorityBlockingQueue<URLBean>(); 
	/**
	 * 
	 */
	protected BlockingQueue<URLBean> fetchedQueue = new LinkedBlockingQueue<URLBean>();
	
	/**
	 * 
	 */
	public void start() {
		try {
			selector = Selector.open();
		} catch (IOException e) {
			e.printStackTrace();
			LoggerUtils.fetcherLogger.error("error.cannot_open_selector",e);
		}
		isRunning.set(true);
		LoggerUtils.fetcherLogger.info("selector has bean opened");
		service();
	}

	protected abstract void service();
	/**
	 * 
	 */
	public void shutdown(){
		try {
			selector.close();
		} catch (IOException e) {
			e.printStackTrace();
			LoggerUtils.fetcherLogger.error("error.cannot_close_selector",e);
		}
		LoggerUtils.fetcherLogger.info("selector has bean closed");
	}

}