开发一款开源爬虫框架系列（四）：设计fetcher

这一期我们来聊聊怎么设计fetcher，既然说到设计，我们首先要明确设计的目的。fetcher的主要功能是根据传入的url获取网页内容，同时我们还面临如下一些问题：

1、使用什么工具发出http请求下载网页？

【答】使用最新的httpclient

2、怎么提高下载的性能？

【答】因为性能消耗主要在网络IO，那么我们要提高下载的性能可以使用线程池多线程并发下载网页，同时为了降低编程难度提高效率，我们模仿tomcat的机制，单线程封装请求，多线程下载网页。下载网页后我们会使用disruptor并发编程框架根据配置的队列数量来生成对应数量的ringbuffer，注意这里fetcher的角色是producer，并将producer平均的注册到ringbuffer上。然后再将parser以消费者的身份注册到ringbuffer上。

3、队列的实现？

 【答】使用disruptor框架，它的队列插入和读取性能比DubleBufferedQueue还高，比BlockingArrayQueue快了一个数量级

Fetcher的流程图是这样的：

Fetcher的测试demo：

@RunWith(BlockJUnit4ClassRunner.class)
public class GenericFetcherTest {
    @Test
    public void fetchFromRequest() throws MalformedURLException {
        CrawlerHttpRequest request = new CrawlerHttpRequest();
        request.setUrl(new URL("http://cd.lianjia.com/ershoufang/rs%E5%A4%A9%E5%BA%9C%E8%BD%AF%E4%BB%B6%E5%9B%AD/"));
        GenericFetcher fetcher1 = new GenericFetcher();
        try {
            for(int i=0;i<10;i++) {
                fetcher1.fetchFromRequest(request);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}