对于爬虫来讲，Fetcher的主要工作就是获取给定URL对应的资源，然后交给Parser处理，通常情形下，Fetcher和Parser之间通过page buffer来衔接，从而将二者之间的耦合度降到最低，不过在crawler4j中，由于每个爬取线程都有自己的parser，而所有的parser都对应一个全局的fetcher，并且fetcher的页面获取函数设计成了可重入的模式，因此也不会存在parser之间的同步和争抢fetcher的问题。从WebCrawler的主处理函数processPage可以看出，在这个函数中，获取到一个页面后，所有的解析和信息提取都在这里完成了，因此也省去了模块之间的交互，是系统实现的复杂度大大简化。
crawler4j的fetcher很简单，总共就四个类，主要工作全部在PageFetcher中完成，PageFetchResult用来存放响应消息，IdleConnectionMonitorThread为连接池的监控线程。CustomFetchStatus中对Http响应码进行了转换。总体来讲，fetcher模块就做了两件事，第一是根据配置信息初始化相关的http请求参数，并且创建基于Httpclient的http连接管理线程PoolingClientConnectionManager，在crawler4j中，这个线程的作用主要就是轮训并关闭空闲和失效的连接，从而保证系统资源的有效使用，且看下面代码：
params.setParameter(ClientPNames.COOKIE_POLICY, CookiePolicy.BROWSER_COMPATIBILITY);
params.setParameter(CoreProtocolPNames.USER_AGENT, config.getUserAgentString());
params.setIntParameter(CoreConnectionPNames.SO_TIMEOUT, config.getSocketTimeout());
params.setIntParameter(CoreConnectionPNames.CONNECTION_TIMEOUT, config.getConnectionTimeout());关于PoolingClientConnectionManager只有两个相关的配置：
connectionManager = new PoolingClientConnectionManager(schemeRegistry);
connectionManager.setMaxTotal(config.getMaxTotalConnections());
connectionManager.setDefaultMaxPerRoute(config.getMaxConnectionsPerHost());Http协议中连接的创建和维护最为耗费系统资源，因此连接的高效管理和使用就很重要，为此crawler4j采用了httpclient中的PoolingClientConnectionManager来管理多个http连接，PoolingClientConnectionManager的主要功能就是向一个新的http请求分配一个已有连接，如果没有针对当前路由的可用连接，则创建一个新的，并自动维护到每个Host的最大连接数，这一点很重要，尤其是对与爬虫而言，如果同时链接到一个Host的请求过多，不仅会给对端服务器带来较大的负荷，有时还会被对端屏蔽，这也是礼貌爬取的一种实现手段（除了设置两次请求间隔时常之外）。下面是连接管理监控线程的代码：
public IdleConnectionMonitorThread(PoolingClientConnectionManager connMgr) {
super("Connection Manager");
this.connMgr = connMgr;
}
@Override
public void run() {
try {
while (!shutdown) {
synchronized (this) {
wait(5000);
// Close expired connections
connMgr.closeExpiredConnections();
// Optionally, close connections
// that have been idle longer than 30 sec
connMgr.closeIdleConnections(30, TimeUnit.SECONDS);
}
}
} catch (InterruptedException ex) {
// terminate
}
}get = new HttpGet(toFetchURL);
get.addHeader("Accept-Encoding", "gzip");
httpClient.addResponseInterceptor(new HttpResponseInterceptor() {
//注册响应消息拦截类
@Override
public void process(final HttpResponse response, final HttpContext context) throws HttpException,
IOException {
HttpEntity entity = response.getEntity();
Header contentEncoding = entity.getContentEncoding();
if (contentEncoding != null) {
HeaderElement[] codecs = contentEncoding.getElements();
for (HeaderElement codec : codecs) {
if (codec.getName().equalsIgnoreCase("gzip")) {//过滤gzip格式的响应消息
response.setEntity(new GzipDecompressingEntity(response.getEntity()));
return;
}
}
}
}
});
public void run() {
try {
while (!shutdown) {
synchronized (this) {
wait(5000);
// Close expired connections
connMgr.closeExpiredConnections();
// Optionally, close connections
// that have been idle longer than 30 sec
connMgr.closeIdleConnections(30, TimeUnit.SECONDS);
}
}
} catch (InterruptedException ex) {
// terminate
}
}第三个是响应头，fetchedUrl存放本次请求的URL，movedToUrl用来存放重定向后的URL。
对于接收到的响应，首先判断是否重定向，如果是则规范化并保存重定向后的URL，
if (statusCode != HttpStatus.SC_OK) {
if (statusCode != HttpStatus.SC_NOT_FOUND) {
if (statusCode == HttpStatus.SC_MOVED_PERMANENTLY || statusCode == HttpStatus.SC_MOVED_TEMPORARILY) {
Header header = response.getFirstHeader("Location");
if (header != null) {
String movedToUrl = header.getValue();
movedToUrl = URLCanonicalizer.getCanonicalURL(movedToUrl, toFetchURL);
fetchResult.setMovedToUrl(movedToUrl);
}
fetchResult.setStatusCode(statusCode);
return fetchResult;
}
logger.info("Failed: " + response.getStatusLine().toString() + ", while fetching " + toFetchURL);
}
fetchResult.setStatusCode(response.getStatusLine().getStatusCode());
return fetchResult;
}if (fetchResult.getEntity() != null) {
long size = fetchResult.getEntity().getContentLength();
if (size == -1) {
Header length = response.getLastHeader("Content-Length");
if (length == null) {
length = response.getLastHeader("Content-length");
}
if (length != null) {
size = Integer.parseInt(length.getValue());
} else {
size = -1;
}
}
if (size > config.getMaxDownloadSize()) {
fetchResult.setStatusCode(CustomFetchStatus.PageTooBig);
<span style="color:#ff6666;">get.abort();</span>
return fetchResult;
}
fetchResult.setStatusCode(HttpStatus.SC_OK);
return fetchResult;
}
<span style="color:#ff6666;">get.abort();</span>
Page page = new Page(curURL);
int docid = curURL.getDocid();
if (!<span style="color:#3366ff;">fetchResult.fetchContent(page)</span>) {
onContentFetchError(curURL);
return;
}
if (!parser.parse(page, curURL.getURL())) {
onParseError(curURL);
return;
}private static class GzipDecompressingEntity extends HttpEntityWrapper {
public GzipDecompressingEntity(final HttpEntity entity) {
super(entity);
}
@Override
public <span style="color:#ff6666;">InputStream getContent()</span> throws IOException, IllegalStateException {
// the wrapped entity's getContent() decides about repeatability
InputStream wrappedin = wrappedEntity.getContent();
return new GZIPInputStream(wrappedin);
}
@Override
public long getContentLength() {
// length of ungzipped content is not known
return -1;
}
}public boolean fetchContent(Page page) {
try {
page.load(entity);
page.setFetchResponseHeaders(responseHeaders);
return true;
} catch (Exception e) {
logger.info("Exception while fetching content for: " + page.getWebURL().getURL() + " [" + e.getMessage()
+ "]");
}
return false;
}
public void load(HttpEntity entity) throws Exception {
contentType = null;
Header type = entity.getContentType();
if (type != null) {
contentType = type.getValue();
}
contentEncoding = null;
Header encoding = entity.getContentEncoding();
if (encoding != null) {
contentEncoding = encoding.getValue();
}
Charset charset = ContentType.getOrDefault(entity).getCharset();
if (charset != null) {
contentCharset = charset.displayName();
}
contentData = EntityUtils.toByteArray(entity);
}至此fetcher的工作流程已经全部解析完毕，下一节我们来看看parser的设计和实现。
1546
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
