【垂直搜索引擎搭建04】heritrix：扩展Extractor

解析一个网页时，常常需要有特定的需要，而对于Extractor而言，是将网站上所有网页全部抓取下来，所以通过扩展Extractor来抓取特定的网页。

Extractor：

package org.archive.crawler.extractor;
/*
 *Extractor：抓取网页时，将网页上的所有信息都抓取下来，没有任何的格式选择
 */
import java.util.logging.Level;
import java.util.logging.Logger;

import org.archive.crawler.datamodel.CrawlURI;
import org.archive.crawler.framework.Processor;

public abstract class Extractor extends Processor {//继承自Processor类

    private static final long serialVersionUID = 1L;
    private static final Logger logger = Logger
        .getLogger(Extractor.class.getName());

    /**
     * Passthrough constructor.
     * 
     * @param name
     * @param description
     */
    public Extractor(String name, String description) {//构造函数
        super(name, description);//调用父类的构造函数
    }

    public void innerProcess(CrawlURI curi) {//内部实现
        try {
            extract(curi);//抓取链接
        } catch (NullPointerException npe) {
            // both annotate (to highlight in crawl log) & add as local-error
            curi.addAnnotation("err=" + npe.getClass().getName());
            curi.addLocalizedError(getName(), npe, "");
            // also log as warning
            logger.log(Level.WARNING, getName() + ": NullPointerException",
                npe);
        } catch (StackOverflowError soe) {
            // both annotate (to highlight in crawl log) & add as local-error
            curi.addAnnotation("err=" + soe.getClass().getName());
            curi.addLocalizedError(getName(), soe, "");
            // also log as warning
            logger.log(Level.WARNING, getName() + ": StackOverflowError", soe);
        } catch (java.nio.charset.CoderMalfunctionError cme) {
            // See http://sourceforge.net/tracker/index.php?func=detail&aid=1540222&group_id=73833&atid=539099
            // Both annotate (to highlight in crawl log) & add as local-error
            curi.addAnnotation("err=" + cme.getClass().getName());
            curi.addLocalizedError(getName(), cme, ""); // <-- Message field ignored when logging.
            logger.log(Level.WARNING, getName() + ": CoderMalfunctionError",
                cme);
        }
    }

    //定义一个extract()抽象类，用于子类的实现
    //所有的Extractor继承自它后，只需要实现extract()方法就可以了
    protected abstract void extract(CrawlURI curi);

    /*
     * 扩展Extractor:
     *  1、写一个类，继承Extractor的基类
     *  2、在构造函数中，调用父类的构造函数，以形成完整的家族对象
     *  3、继承extrac(curi)方法
     * */
}

ExtractorSohu：

package org.archive.crawler.extractor;

import java.io.IOException;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.archive.crawler.datamodel.CrawlURI;
import org.archive.io.ReplayCharSequence;
import org.archive.util.HttpRecorder;

public class ExtractorSohu extends Extractor {

    private static final long serialVersionUID = -7914995152462902519L;

    public ExtractorSohu(String name, String description) {//构造函数
        super(name, description);//调用父类的构造函数
    }

    public ExtractorSohu(String name) {//构造函数
        super(name, "sohu news extractor");
    }

    //<a class="" href="xxxx" target="_blank">
    //http://news.sohu.com/20131020/n388534488.shtml
    //private static final String A_HERF = "<a(.*)href\\s*=\\s*(\"([^\"])\"|[^\\s>])(.*)>";

    //用于匹配所有的<a href="xxx">
    private static final String A_HERF = "<a(.*)href\\s*=\\s*(\"([^\"]*)\"|[^\\s>])(.*)>";

    //用于匹配新闻的格式
    private static final String NEWS_SOHU = "http://news.sohu.com/(.*)/n(.*).shtml";

    @Override
    //实现extract()方法
    protected void extract(CrawlURI curi) {
        /*
         * 下面一段代码主要用于取得当前链接的返回字符串，以便对内容进行分析时使用
         * */
        String url = "";
        try {
            HttpRecorder hr = curi.getHttpRecorder();
            if(hr == null){
                throw new IOException("HttpRecorder is null");
            }
            ReplayCharSequence cs = hr.getReplayCharSequence();
            if(cs == null){
                return;
            }
            String context = cs.toString();//将网页内容转换成字符串形式

            //将字符串内容进行正则匹配
            //取出其中的链接信息
            Pattern pattern = Pattern.compile(A_HERF, Pattern.CASE_INSENSITIVE);
            Matcher matcher = pattern.matcher(context);
            //若找到一个链接
            while(matcher.find()){
                url = matcher.group(2);
                System.out.println("url:"+url);
                url = url.replace("\"", "");
                //查看是否为sohu新闻的格式
                if(url.matches(NEWS_SOHU)){
                    System.out.println("true");
                    //若是，则将链接加入队列中
                    //以备后续处理
                    curi.createAndAddLinkRelativeToBase(url, context, Link.NAVLINK_HOP);
                }
            }

        } catch (Exception e) {
            e.printStackTrace();
        }

    }

}

在Exreactor类开发完毕后，如果使用webUI的方式启动heritrix，并让它出现在下拉选项中，则需要修改eclipse工程下的modules目录下的Processor.options文件：

添加：org.archive.crawler.extractor.ExtractorSohu|ExtractorSohu

再次启动heritrix时，创建任务后，就可以选在自己开发的Extractor。