配置Heritrix及常见问题解决

 

配置Heritrix及常见问题解决

配置Heritrix

1. 从http://crawler.archive.org/下载并解压到本地 F:\crawler\heritrix-1.14.4

2. 配置环境变量HERITRIX_HOME

3. 修改%HERITRIX_HOME%\conf下的配置文件heritrix.propertries

a) a) heritrix.version = 1.14.4，配置heritrix版本号

b) b) heritrix.jobsdir = jobs，配置爬取的内容的放置文件夹

c) c) heritrix.cmdline.admin = admin:admin，配置webUI登录的用户名和密码，其格式为(username:password)

d) d) heritrix.cmdline.port = 8888，配置webUI的登录端口(默认为8080，最好将其修改，以防与tomcat等软件冲突)

4. 将%HERITRIX_HOME%\conf下的jmxremote.password.template复制到%HERITRIX_HOME%\目录下将改名为jmxremote.password，并将些文件中最后两行改为
monitorRole  admin
controlRole  admin
保存后右键点击jmxremote.password选择properties将权限改成只读


 
关键步骤切换到Security选项卡选择Advance，在Owner选项卡中确认Current owner下是当前登录系统的用户而不是用户组，否则会出现：必须限制口令文件读取访问 

5. 以上步骤完成后在命令行切换到%HERITRIX_HOME%\bin，并执行
heritrix --amdin=admin:admin即可启动heritrix


 

6. 打开浏览器访问http://localhost:8888 即可登录到后台管理页面

用户名admin密码admin