heritrix配置篇

最新推荐文章于 2018-09-24 22:52:53 发布

iteye_1364

最新推荐文章于 2018-09-24 22:52:53 发布

阅读量112

点赞数

分类专栏： Heritrix 文章标签：配置管理工作

本文链接：https://blog.csdn.net/iteye_1364/article/details/82063205

版权

Heritrix 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

前对Heritrix 做了初步选型测试，有了一些总结：

1.关于安装：

      目前的版本号为1.12.1，官网地址为。常规安装，即解压到相关目录，之后配置系统环境变量"HERITRIX_HOME"到该解压目录（Java环境已经配置好）。

2.安装的后续工作：

      将 %HERITRIX_HOME%\heritrix-1.12.1.jar 解压到临时目录，拷贝其中的profiles目录到 %HERITRIX_HOME%\conf\目录下，用来解决Heritrix 关于的Profile默认配置的一个Bug。

3.配置管理帐户：

      拷贝 %HERITRIX_HOME%\conf\jmxremote.password.template 到 %HERITRIX_HOME%\下，并且重命名为"jmxremote.password"。之后编辑该文件内容关于密码的部分：
monitorRole @PASSWORD@         monitorRole admin
controlRole @PASSWORD@  ==> controlRole admin
      修改完毕之后，保存该文件。并且需要将该文件的属性改为“只读”。然后有很重要的一步：在该文件jmxremote.password的属性窗口中查看 “安全”标签，该标签下的第一项“组或用户名称”下要确认该文件的所有权应该只隶属于你当前的系统用户，而不应该是某一个用户组（例如 Administrators），这应该是Heritrix安全机制的一个Bug。否则运行Heritrix的时候会报权限错误，需要你修改 jmxremote.password文件的属性为“只读”，但是其实已经做了该项改动。

4.运行Heritrix：

      CMD定位到 %HERITRIX_HOME%\bin，执行 "heritrix --admin=admin:admin" 命令，即可启动 heritrix，有一点需要注意，heritrix默认使用8080端口，要保证系统端口没有冲突。之后便可以访问 http://127.0.0.1:8080 使用 heritrix 提供的WUI，即Web管理端。并且使用"admin/admin"登录。
      该管理端提供了Heritrix默认提供的所有配置功能，并且可以创建一个Job并且执行该Job抓取网站。

5.一个简单的Job:
      Heritrix提供的配置功能非常丰富，但是也很复杂，刚开始的时候很难正确的创建并且执行一个Job去抓取网站，自己阅读了大部分的Heritrix用户文档和多次尝试之后，总结了一个简单的创建执行Job的用例，该用例为抓取 www.baidu.com 下的网页，但子域（如 news.baidu.com）不抓取 ，步骤如下，可供参考：

(1) WUI的上边的导航栏选择"Jobs"，呈现的第一项是"Create New Job"，选择第四小项"With defaults"。输入项的前两项
     Name和Description随意，Seeds非常重要： http://www.baidu.com/ 注意最后一个反斜杠必须。

(2) 选择下边的"Modules"，进入Module配置页（Heritrix的扩展功能都是通过模块概念实现的，可以实现自己的模块完成自己
     想要的功能）。其中第一项 " Select Crawl Scope " 使用默认的 "org.archive.crawler.deciderules.DecidingScope"
     。倒数第三项 " Select Writers " 删除默认的 "org.archive.crawler.writer.ARCWriterProcessor" ，后添加
   "org.archive.crawler.writer.MirrorWriterProcessor"，这样执行任务的时候抓取到的页面会以镜像的方式放在本地的
     目录结构中，而不是生成ARC存档文件。

(3) 选择"Modules"右边的"Submodules"，在第一项内容中 " crawl-order -> scope -> decide-rules -> rules " 删除掉其
     中的 "acceptIfTranscluded" ( org.archive.crawler.deciderules.TransclusionDecideRule ) 的这一项抓取作用域的
     规则。否则当Http请求返回301或者302时Heritrix会去抓取其他域下的网页。

(4) 在WUI的第二行导航栏中选择"Settings"进入Job的配置页面，其中主要修改两项： http-headers 下的user-agent 和
     from，他们的"PROJECT_URL_HERE" 和 "CONTACT_EMAIL_ADDRESS_HERE" 替换为自己的内容
    （"PROJECT_URL_HERE" 要以 "http://" 开头）

(5) 在WUI的第二行导航栏中选择最右边的"Submit job"

(6) 在WUI的第一行导航栏中选择第一项的"Console"，点击"Start"，抓取任务正式开始，时间长短有网络状况和所抓取网站的
     深度有关。