原文地址:https://yq.aliyun.com/articles/46827
启动Heritrix后,访问http://localhost:6789就可以打开Heritrix的登录界面,登录后即进入了Heritrix Web后台的主页:
console: Heritrix的控制台,会显示Heritrix的抓取任务和分配给Heritrix的Heap使用情况
Jobs:Heritrix的抓取任务界面,比如创建抓取任务,已挂起的任务,已完成的任务统计
Profiles:Heritrix抓取任务相关的配置
Logs:Heritrix的运行日志
Reports:Heritrix的统计报表
Setup:Heritrix实例管理界面以及Heritrix后台登录帐号密码修改
Help:Heritrix的使用帮助文档
首先我们需要切到Jobs界面,创建一个Job,如图:
根据一个已经存在的job创建抓取任务
2. 根据一个抓取任务备份来创建抓取任务
3. 根据配置创建抓取任务
4. 按照默认方式创建抓取任务
asd
一般我们选择第3种创建方式:
关于Settings里相关配置项的含义解释说明请看下面这张图:
修改好后提交创建job,然后就能切到Console界面点击Start来启动抓取任务进行页面抓取
抓取到的网页默认保存在heritrix_hone\jobs目录下,我们创建的每个job都会在jobs目录下生成一个文件夹,命名方式为job名称+当前时间戳的方式,如图:
虽然Heritrix的web后台是全英文的,但我觉得没什么使用难度,你们多点点它的功能,从宏观上多感受下Heritrix的强大之处。最后是多阅读下Help界面里列出的一些帮助文档,这是你学习Heritrix最宝贵的资料:
启动Heritrix后,访问http://localhost:6789就可以打开Heritrix的登录界面,登录后即进入了Heritrix Web后台的主页:
console: Heritrix的控制台,会显示Heritrix的抓取任务和分配给Heritrix的Heap使用情况
Jobs:Heritrix的抓取任务界面,比如创建抓取任务,已挂起的任务,已完成的任务统计
Profiles:Heritrix抓取任务相关的配置
Logs:Heritrix的运行日志
Reports:Heritrix的统计报表
Setup:Heritrix实例管理界面以及Heritrix后台登录帐号密码修改
Help:Heritrix的使用帮助文档
首先我们需要切到Jobs界面,创建一个Job,如图:
根据一个已经存在的job创建抓取任务
2. 根据一个抓取任务备份来创建抓取任务
3. 根据配置创建抓取任务
4. 按照默认方式创建抓取任务
asd
一般我们选择第3种创建方式:
关于Settings里相关配置项的含义解释说明请看下面这张图:
修改好后提交创建job,然后就能切到Console界面点击Start来启动抓取任务进行页面抓取
抓取到的网页默认保存在heritrix_hone\jobs目录下,我们创建的每个job都会在jobs目录下生成一个文件夹,命名方式为job名称+当前时间戳的方式,如图:
虽然Heritrix的web后台是全英文的,但我觉得没什么使用难度,你们多点点它的功能,从宏观上多感受下Heritrix的强大之处。最后是多阅读下Help界面里列出的一些帮助文档,这是你学习Heritrix最宝贵的资料: