crawler4j 爬爬知多少

　　1. Crawler是什么？

　　crawler4j是一个开源的java爬虫类库，可以用来构建多线程的web爬虫来抓取页面内容。

　　2. 如何获取Crawler？

　　crawler4j的官方地址在这里，目前版本为4.1。如果你使用Maven，可以通过下面的pom的方式，如直接下载，点击这里。

　　3. Crawler怎么用？

　　crawler4j的使用分为两个步骤：一是实现一个继承自edu.uci.ics.crawler4j.crawler.WebCrawler的爬虫类；另外就是通过CrawController调用实现的爬虫类。

package com.favccxx.favsoft.favcrawler;

import java.util.Set;
import java.util.regex.Pattern;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import edu.uci.ics.crawler4j.crawler.Page;
import edu.uci.ics.crawler4j.crawler.WebCrawler;
import edu.uci.ics.crawler4j.parser.HtmlParseData;
import edu.uci.ics.crawler4j.url.WebURL;

public class FavWebCrawler extends WebCrawler {

	private static final Logger logger = LoggerFactory.getLogger(WebCrawler.class);

	private final static Pattern FILTERS = Pattern.compile(".*(\\.(css|js|gif|jpg" + "|png|mp3|mp3|zip|gz))$");

	@Override
	public boolean shouldVisit(Page referringPage, WebURL url) {
		String href = url.getURL().toLowerCase();
		return !FILTERS.matcher(href).matches() && href.startsWith("http://www.oschina.net/");
	}

	/**
	 * 处理抓取到的页面时，调用该方法	 
	 */
	@Override
	public void visit(Page page) {
		int docid = page.getWebURL().getDocid();
		String url = page.getWebURL().getURL();
		String domain = page.getWebURL().getDomain();
		String path = page.getWebURL().getPath();
		String subDomain = page.getWebURL().getSubDomain();
		String parentUrl = page.getWebURL().getParentUrl();
		String anchor = page.getWebURL().getAnchor();

		logger.debug("Docid: {}", docid);
		logger.info("URL: {}", url);
		logger.debug("Domain: '{}'", domain);
		logger.debug("Sub-domain: '{}'", subDomain);
		logger.debug("Path: '{}'", path);
		logger.debug("Parent page: {}", parentUrl);
		logger.debug("Anchor text: {}", anchor);

		if (page.getParseData() instanceof HtmlParseData) {
			HtmlParseData htmlParseData = (HtmlParseData) page.getParseData();
			String text = htmlParseData.getText();
			String html = htmlParseData.getHtml();
			Set<WebURL> links = htmlParseData.getOutgoingUrls();
			logger.debug("Text length: " + text.length());
			logger.debug("Html length: " + html.length());
			logger.debug("Number of outgoing links: " + links.size());
		}
	}
}

package com.favccxx.favsoft.favcrawler;

import java.util.Set;
import java.util.regex.Pattern;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import edu.uci.ics.crawler4j.crawler.CrawlConfig;
import edu.uci.ics.crawler4j.crawler.CrawlController;
import edu.uci.ics.crawler4j.crawler.Page;
import edu.uci.ics.crawler4j.crawler.WebCrawler;
import edu.uci.ics.crawler4j.fetcher.PageFetcher;
import edu.uci.ics.crawler4j.parser.HtmlParseData;
import edu.uci.ics.crawler4j.robotstxt.RobotstxtConfig;
import edu.uci.ics.crawler4j.robotstxt.RobotstxtServer;
import edu.uci.ics.crawler4j.url.WebURL;

public class MyCrawler extends WebCrawler {
	
	private static final Logger logger = LoggerFactory.getLogger(WebCrawler.class);
	
	private final static Pattern FILTERS = Pattern.compile(".*(\\.(css|js|gif|jpg"  + "|png|mp3|mp3|zip|gz))$");
	
	 @Override
     public boolean shouldVisit(Page referringPage, WebURL url) {
         String href = url.getURL().toLowerCase();
         return !FILTERS.matcher(href).matches()
                && href.startsWith("http://www.oschina.net/");
     }

     /**
      * This function is called when a page is fetched and ready
      * to be processed by your program.
      */
     @Override
     public void visit(Page page) {
    	 
    	 int docid = page.getWebURL().getDocid();
 	    String url = page.getWebURL().getURL();
 	    String domain = page.getWebURL().getDomain();
 	    String path = page.getWebURL().getPath();
 	    String subDomain = page.getWebURL().getSubDomain();
 	    String parentUrl = page.getWebURL().getParentUrl();
 	    String anchor = page.getWebURL().getAnchor();
// 	   page.getWebURL().getTag()
 	    
 	    System.out.println("********************************");
// 	    
// 	    System.out.println("Docid: {}" + docid);
// 	    System.out.println("URL: {}"+ url);
// 	    System.out.println("Domain: '{}'"+ domain);
// 	   	System.out.println("Sub-domain: '{}'"+ subDomain);
// 	  	System.out.println("Path: '{}'"+ path);
// 	  	System.out.println("Parent page: {}"+ parentUrl);
// 		System.out.println("Anchor text: {}"+ anchor);

 	    logger.debug("Docid: {}", docid);
 	    logger.info("URL: {}", url);
 	    logger.debug("Domain: '{}'", domain);
 	    logger.debug("Sub-domain: '{}'", subDomain);
 	    logger.debug("Path: '{}'", path);
 	    logger.debug("Parent page: {}", parentUrl);
 	    logger.debug("Anchor text: {}", anchor);
    	 
    	 
//         String url = page.getWebURL().getURL();
         System.out.println("URL: " + url);

         if (page.getParseData() instanceof HtmlParseData) {
             HtmlParseData htmlParseData = (HtmlParseData) page.getParseData();
             String text = htmlParseData.getText();
             String html = htmlParseData.getHtml();
             Set<WebURL> links = htmlParseData.getOutgoingUrls();
             
             System.out.println("--------------------------");
//             System.out.println(text);
             System.out.println("--------------------------");
             System.out.println("Text length: " + text.length());
             System.out.println("Html length: " + html.length());
             System.out.println("Number of outgoing links: " + links.size());
         }
    }
     
    public static void main(String[] args) throws Exception{
    	 String crawlStorageFolder = "/data/crawl/root";
         int numberOfCrawlers = 7;

         CrawlConfig config = new CrawlConfig();
         config.setCrawlStorageFolder(crawlStorageFolder);

         /*
          * Instantiate the controller for this crawl.
          */
         PageFetcher pageFetcher = new PageFetcher(config);
         RobotstxtConfig robotstxtConfig = new RobotstxtConfig();
         RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcher);
         CrawlController controller = new CrawlController(config, pageFetcher, robotstxtServer);

         /*
          * For each crawl, you need to add some seed urls. These are the first
          * URLs that are fetched and then the crawler starts following links
          * which are found in these pages
          */
         controller.addSeed("http://www.oschina.net/");
//         controller.addSeed("http://www.ics.uci.edu/~welling/");
//         controller.addSeed("http://www.ics.uci.edu/");

         /*
          * Start the crawl. This is a blocking operation, meaning that your code
          * will reach the line after this only when crawling is finished.
          */
         controller.start(MyCrawler.class, numberOfCrawlers);
    }

}

　　4. Crawler常用配置

　　crawler4j的配置文件都位于edu.uci.ics.crawler4j.crawler.CrawlConfig中，各配置属性的详细说明如下。

crawlStorageFolder：临时存储抓取来的文件的地方，相当于文件中转站。     resumableCrawling：是否重新抓取上一个异常停止/损坏的文件的开关，默认不开启。如果开启该开关，毫无疑问会降低抓取的效率。     maxDepthOfCrawling：抓取的最大深度。默认为-1，即无限深度。     maxPagesToFetch：抓取的最大页面数。默认为-1，即无限抓取。     userAgentString：抓取web服务器的用户代理。默认为“crawler4j (http://code.google.com/p/crawler4j/)”。     politenessDelay：（同一主机的两个请求间的）延迟毫秒数。默认为200。     includeHttpsPages：是否包含Https页面。默认包含。     includeBinaryContentInCrawling：是否包含二进制文件，如image，audio等。默认为不抓取。     maxConnectionsPerHost：每个主机的最大连接数，默认为100。     maxTotalConnections：主机的总共连接数，默认为100。     socketTimeout：socket超时毫秒数，默认为20000。     connectionTimeout：连接超时毫秒数，默认为30000。     maxOutgoingLinksToFollow：每个页面的最大外链数，默认为5000。     maxDownloadSize：每个页面的最大下载容量，默认1048576kb（1024M），超过的部分不会下载。     followRedirects：是否抓取重定向的页面，默认抓取。     proxyHost：代理主机地址，仅在使用代理上网时使用。     proxyPort：代理端口号。     proxyUsername：代理用户名。     proxyPassword：代理密码。     authInfos：授权用户信息。