自然语言处理&搜索技术相关
文章平均质量分 67
kivcare
这个作者很懒,什么都没留下…
展开
-
heritrix的主要功能模块
1、Frontier(链接工厂)是Heritrix最核心的部分,有三个核心的方法:next,schedule,finished,其原型及作用如下: a) 程提供一个链接.Heritrix的所有处理线程(ToeThread)都是通过调用该方法获取链接的 b) schedule(CandidateURI caURI):调度待处理的链接 c) finished(CrawlURI cURI):原创 2010-01-13 10:17:00 · 984 阅读 · 0 评论 -
Heritrix安装及启动
刚接触Heritrix,感觉安装和启动没有想象的那么复杂,下面是安装步骤的简单说明 1.从Heritrix官方网站下载Heritrix-1.14.3,解压到任意文件目录下(本机存在C:/下) 2.配置系统变量; HERITRIX_HOME=C:/heritrix-1.14.3在path路径里加上;%HERITRIX_HOME%/bin 3.设置账号信息和权原创 2010-01-08 10:06:00 · 955 阅读 · 0 评论 -
Heritrix学习总结
//-------转载-------------------------- 1 下载 和 解压 从http://crawler.archive.org/下载解压到本地 E:/heritrix-1.14.3 2 配置环境变量 HERITRIX_HOME=E:/heritrix-1.14.3 path后追加 ;%HERITRIX_HOME%/bin 3 配置 heritrix 拷贝E:/h转载 2010-01-08 10:52:00 · 743 阅读 · 0 评论