Heritrix运行配置

看了自己动手做搜索引擎那本书，上面写的运行heritrix的方法挺麻烦的！要加载好多jar包，懒得弄。后来发现bin文件夹里面本来就有一个heritrix.cmd的文件，我想着一定就是windows下的运行文件，运行了一下，提示输入用户名密码！

输入用户名密码了以后，又说找不到密码文件“jmxremote.password”。我发现在conf文件夹里面就有一个jmxremote.password.template文件，这一定是一个模板文件！打开后修改一下密码，把它放到heritirix的根目录，继续运行……

这下子成功了，可以启动webUI了，浏览器输入http://127.0.0.1:8080，输入用户名，密码。就可以进入了！（用户名密码以及端口号可以在/conf文件夹里的文件修改）

但是有个问题，就是设置了任务，运行不了！查了一些资料原来是默认的配置文件有问题，将 %HERITRIX_HOME%\heritrix-1.12.1.jar 解压到临时目录，拷贝其中的profiles目录到 %HERITRIX_HOME%\conf\目录下。

这样做就没有问题了，可以进行抓取任务了！

以下内容是转载的一个最简单的任务的设置方法！

Heritrix提供的配置功能非常丰富，但是也很复杂，刚开始的时候很难正确的创建并且执行一个Job去抓取网站，自己阅读了大部分的Heritrix用户文档和多次尝试之后，总结了一个简单的创建执行Job的用例，该用例为抓取www.baidu.com下的网页，但子域（如 news.baidu.com）不抓取，步骤如下，可供参考：

(1) WUI的上边的导航栏选择"Jobs"，呈现的第一项是"Create New Job"，选择第四小项"With defaults"。输入项的前两项

     Name和Description随意，Seeds非常重要： http://www.baidu.com/ 注意最后一个反斜杠必须。

(2) 选择下边的"Modules"，进入Module配置页（Heritrix的扩展功能都是通过模块概念实现的，可以实现自己的模块完成自己

     想要的功能）。其中第一项 " Select Crawl Scope" 使用默认的 "org.archive.crawler.deciderules.DecidingScope"

     。倒数第三项 " Select Writers " 删除默认的 "org.archive.crawler.writer.ARCWriterProcessor" ，后添加

   "org.archive.crawler.writer.MirrorWriterProcessor"，这样执行任务的时候抓取到的页面会以镜像的方式放在本地的

     目录结构中，而不是生成ARC存档文件。

(3) 选择"Modules"右边的"Submodules"，在第一项内容中 " crawl-order -> scope-> decide-rules-> rules" 删除掉其

     中的 "acceptIfTranscluded" ( org.archive.crawler.deciderules.TransclusionDecideRule) 的这一项抓取作用域的

     规则。否则当Http请求返回301或者302时Heritrix会去抓取其他域下的网页。

(4) 在WUI的第二行导航栏中选择"Settings"进入Job的配置页面，其中主要修改两项： http-headers 下的user-agent 和

     from，他们的"PROJECT_URL_HERE" 和 "CONTACT_EMAIL_ADDRESS_HERE" 替换为自己的内容

    （"PROJECT_URL_HERE" 要以 "http://" 开头）

(5) 在WUI的第二行导航栏中选择最右边的"Submit job"

(6) 在WUI的第一行导航栏中选择第一项的"Console"，点击"Start"，抓取任务正式开始，时间长短有网络状况和所抓取网站的

      深度有关。

      按照如上步骤应该可以正确的执行一次网站的抓取任务，抓取页面会存放在你的工作目录下的mirror文件夹内。关于Job的创建和执行过程中的各种设置可以在用户手册中查到，都有详细的说明。