heritrix1.14.4配置-没有add和change按钮的问题

今天搞了下heritrix1.14.4在eclipse下的配置,根据http://www.360doc.com/content/10/0913/18/2793979_53385587.shtml教程,一步步操作非常顺利,但是就是最后一个问题:

3、在eclipse中可以启动heritrix,但在jobs->modules.jsp页面中没有添加(“Add”)按扭,且出现以下异常。

              致使错误:“无法编译样式表”              严重 thread-12 org.archive'crawler.framework.WriterPodProcessor.io.arc.......            

 解决办法:将heritrix 项目中的modulse的上一级目录文件添加到eclipse的classpath中。

按这个解决办法怎么也搞不定,在网上一顿狂搜找的:http://blog.sina.com.cn/s/blog_7645c6730100t0an.html这篇文章:

把heritrix-1.14.4\src\conf下的modules文件夹移到src文件夹中,问题才得以解决。


这中间还遇到一个问题,大概意思是javac无法找到,检查java环境变量也没问题,后来发现是eclipse的配置问题:打开Properties-》java compiler-》Installed jrs,add 一个新的jre项,路径是jdk的安装路径。把之前工程用的换成现在的就可以了。


使用入门我参照的是:http://www.yovae.com/blog/heritrix%E4%BD%BF%E7%94%A8%E6%96%B9%E6%B3%95%E7%A4%BA%E4%BE%8B.html


现在把http://www.360doc.com/content/10/0913/18/2793979_53385587.shtml用到的内容拷贝在这里,以防以后找不到这个链接了:


------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------


二、在Eclipse中配置Heritrix       

 1、新建空的java项目(注意不是WEB项目),命名为heritrix;        

2、把heritrix-1.14.4-src\src\java\目录下的org、st和com文件夹拷贝到heritrix/src目录下;  

 3、把heritrix-1.14.4-src\src下的wbapps文件夹拷贝到heritrix目录下;        

4、右击heritrix项目,点击properties ,通过JavaBuildPath,将heritrix-1.14.4-src下的lib目录下的所有包导入进来;        

5、解压缩heritrix-1.14.4目录下的heritrix-1.14.4.jar文件,把解压后的所有文件和文件夹(除org、st、com文件夹和heritrix.properties文件外)拷贝到heritrix目录下;       

 6、将heritrix-1.14.4目录下的conf文件夹拷贝到heritrix目录下;并将heritrix目录下的profiles文件夹移入conf文件夹中;       

 7、打开eclipse下的heritrix/conf/heritrix.properties文件,找到"heritrix.cmdline.admin=",修改为“heritrix.cmdline.admin = admin:admin”;       

 8、Conf/jmxremote.password.template拷贝到heritrix目录下。改名为:jmxremote.password,

最后再行改成:                              monitorRole  admin                              controlRole    admin        

9、找到org.archive.crawler包,运行Heritrix.java中的main函数。          

  成功提示信息为:           09:14:07.406 EVENT  Starting Jetty/4.2.23 
           09:14:07.656 EVENT  Started WebApplicationContext[/,Heritrix Console] 
           09:14:07.750 EVENT  Started SocketListener on 127.0.0.1:8082 
           09:14:07.750 EVENT  Started  
          Heritrix version: 1.14.4


          可能会出现的异常:

          1、在Heritrix.java中出现File URLConnection 红叉;

               解决办法:将myeclipse中的compiler 属性中的Errors/warring 中的Forbidden....选为warrning即可。  

        2、出现的异常:......thread-10 org.archive.util.ArchiveUtils.<linit>( )TLD list....            

  解决办法:将 \heritrix-1.14.4-src\heritrix-1.14.4\src\resources\org\archive\util 下的文本文档拷贝到heritrix中的org\archive\util下;          

3、在eclipse中可以启动heritrix,但在jobs->modules.jsp页面中没有添加(“Add”)按扭,且出现以下异常。             

 解决办法请参照本文前半部分

Heritrix是IA的开放源代码,可扩展的,基于整个Web的,归档网络爬虫工程 Heritrix工程始于2003年初,IA的目的是开发一个特殊的爬虫,对网上的 资源进行归档,建立网络数字图书馆,在过去的6年里,IA已经建立了400TB的数据。 IA期望他们的crawler包含以下几种: 宽带爬虫:能够以更高的带宽去站点爬。 主题爬虫:集中于被选择的问题。 持续爬虫:不仅仅爬更当前的网页还负责爬日后更新的网页。 实验爬虫:对爬虫技术进行实验,以决定该爬什么,以及对不同协议的爬虫爬行结果进行分析的。 Heritrix的主页是http://crawler.archive.org Heritrix是一个爬虫框架,可加如入一些可互换的组件。 它的执行是递归进行的,主要有以下几步: 1。在预定的URI中选择一个。 2。获取URI 3。分析,归档结果 4。选择已经发现的感兴趣的URI。加入预定队列。 5。标记已经处理过的URI Heritrix主要有三大部件:范围部件,边界部件,处理器链 范围部件:主要按照规则决定将哪个URI入队。 边界部件:跟踪哪个预定的URI将被收集,和已经被收集的URI,选择下一个URI,剔除已经处理过的URI。 处理器链:包含若干处理器获取URI,分析结果,将它们传回给边界部件 Heritrix的其余部件有: WEB管理控制台:大多数都是单机的WEB应用,内嵌JAVA HTTP 服务器。 操作者可以通过选择Crawler命令来操作控制台。 Crawler命令处理部件:包含足够的信息创建要爬的URI。 Servercache(处理器缓存):存放服务器的持久信息,能够被爬行部件随时 查到,包括IP地址,历史记录,机器人策略。 处理器链: 预取链:主要是做一些准备工作,例如,对处理进行延迟和重新处理,否决随后的操作。 提取链:主要是获得资源,进行DNS转换,填写请求和响应表单 抽取链:当提取完成时,抽取感兴趣的HTML,JavaScript,通常那里有新的也适合的URI,此时URI仅仅被发现,不会被评估 写链:存储爬行结果,返回内容和抽取特性,过滤完存储。 提交链:做最后的维护,例如,测试那些不在范围内的,提交给边界部件 Heritrix 1.0.0包含以下关键特性: 1.用单个爬虫在多个独立的站点一直不断的进行递归的爬。 2。从一个提供的种子进行爬,收集站点内的精确URI,和精确主机。 3。主要是用广度优先算法进行处理。 4。主要部件都是高效的可扩展的 5。良好的配置,包括: a。可设置输出日志,归档文件和临时文件的位置 b。可设置下载的最大字节,最大数量的下载文档,和最大的下载时间。 c。可设置工作线程数量。 d。可设置所利用的带宽的上界。 e。可在设置之后一定时间重新选择。 f。包含一些可设置的过滤机制,表达方式,URI路径深度选择等等。 Heritrix的局限: 1。单实例的爬虫,之间不能进行合作。 2。在有限的机器资源的情况下,却要复杂的操作。 3。只有官方支持,仅仅在Linux上进行了测试。 4。每个爬虫是单独进行工作的,没有对更新进行修订。 5 。在硬件和系统失败时,恢复能力很差。 6。很少的时间用来优化性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值