Heritrix信息集合

Heritrix

Heritrix是一个爬虫框架,可加如入一些可互换的组件。

  它的执行是递归进行的,主要有以下几步:

  1。在预定的URI中选择一个。

  2。获取URI

  3。分析,归档结果

  4。选择已经发现的感兴趣的URI。加入预定队列。

  5。标记已经处理过的URI

  Heritrix主要有三大部件:范围部件,边界部件,处理器链

  范围部件:主要按照规则决定将哪个URI入队。

  边界部件:跟踪哪个预定的URI将被收集,和已经被收集的URI,选择下一个 URI,剔除已经处理过的URI。

  处理器链:包含若干处理器获取URI,分析结果,将它们传回给边界部件

  Heritrix的其余部件有:

  WEB管理控制台:大多数都是单机的WEB应用,内嵌JAVA HTTP 服务器。

  操作者可以通过选择Crawler命令来操作控制台。

  Crawler命令处理部件:包含足够的信息创建要爬的URI。

  Servercache(处理器缓存):存放服务器的持久信息,能够被爬行部件随时查到,包括IP地址,历史记录,机器人策略。

  处理器链:

  预取链:主要是做一些准备工作,例如,对处理进行延迟和重新处理,否决随后的操作。

  提取链:主要是获得资源,进行DNS转换,填写请求和响应表单

  抽取链:当提取完成时,抽取感兴趣的HTML,JavaScript,通常那里有新的也适合的URI,此时URI仅仅被发现,不会被评估

  写链:存储爬行结果,返回内容和抽取特性,过滤完存储。

  提交链:做最后的维护,例如,测试那些不在范围内的,提交给边界部件

  Heritrix 1.0.0包含以下关键特性:

  1.用单个爬虫在多个独立的站点一直不断的进行递归的爬。

  2。从一个提供的种子进行爬,收集站点内的精确URI,和精确主机。

  3。主要是用广度优先算法进行处理。

  4。主要部件都是高效的可扩展的

  5。良好的配置,包括:

  a。可设置输出日志,归档文件和临时文件的位置

  b。可设置下载的最大字节,最大数量的下载文档,和最大的下载时间。

  c。可设置工作线程数量。

  d。可设置所利用的带宽的上界。

  e。可在设置之后一定时间重新选择。

  f。包含一些可设置的过滤机制,表达方式,URI路径深度选择等等。

  Heritrix的局限:

  1。单实例的爬虫,之间不能进行合作。

  2。在有限的机器资源的情况下,却要复杂的操作。

  3。只有官方支持,仅仅在Linux上进行了测试。

  4。每个爬虫是单独进行工作的,没有对更新进行修订。

  5。在硬件和系统失败时,恢复能力很差。

  6。很少的时间用来优化性能。

 

在本地配好了一个heritrix,建了一个job爬了一个网站的URL,生成一个mirror文件夹,里面是爬到的镜像文件。然后我写了个lucence的demo,把目标文件夹定为那个mirror文件夹,然后开始递归地建立索引。可是效率MS不怎么高,有的一个子文件夹就要5 6分钟,请问heritrix爬下来的文件是不是要经过某些处理才开始建立索引啊?

 

heritrix是要优化和定制过的,具体的方法是重新一个方法,将抓取的网页按要求用正则表达式匹配好,然后再用lucence建立索引,那样效率就提高了

 

heritrix安装使用

1)下载heritrix-1.14.3-src.zip
2)解压,并在eclipse3.2中配置heritrix工程
3)jdk1.5及以上,compliance level 1.5及以上
4)文件配置如下,将src/conf和src/webapps目录放到工程目录下面
5)修改conf目录下面的heritrix.properties文件,两个地方:
       @VERSION@ 改为 1.14.3
      heritrix.cmdline.admin = 改为 heritrix.cmdline.admin = admin:xxm
      heritrix.cmdline.port =  改为 heritrix.cmdline.port = 8080
6)将conf目录下面的modules目录放到src/java目录下面
7)运行heritrix.java文件即可运行heritrix
8)heritrix的最大特定就是,抓取内容可定制,所以主要是自编两个类
      继承Extractor,实现extractor方法,对网页的特定内容进行抓取
     继承 FrontierScheduler,复写 schedule方法,抓取到的链接等放入到抓取列表
9)特别注意,如果自己实现Extractor类,那么必须实现构造函数
      构造函数(String name) {
this(name, "***");
      }
   如果不实现这个构造函数,那么就会报如下错误
    java.lang.reflect.InvocationTargetException

到此heritrix已经可以启动,并且可以定制自己的抓取任务了。接下来就是找个项目来试验如何抓取网页内容,并且如果结合lucene来实现垂直搜索引擎。

 

heritrix详细配置

1 下载 和 解压
http://crawler.archive.org/下载解压到本地 E:/heritrix-1.14.3

2 配置环境变量
HERITRIX_HOME=E:/heritrix-1.14.3
path后追加 ;%HERITRIX_HOME%/bin

3 配置 heritrix

拷贝E:/heritrix-1.14.3/conf/jmxremote.password.template到E:/heritrix-1.14.3下
并从命名为jmxremote.password

修改E:/heritrix-1.14.3/conf下的heritrix.properties 文件
用UrltraEditor或其他的文本编辑工具打开,找到 heritrix.cmdline.admin =
admin是空的 这是登陆heritrix UI的用户名和密码 格式为 username:password
heritrix.cmdline.admin = admin:admin

heritrix.cmdline.port = 8080 配置端口 为了不和tomcat的8080端口冲突我改为8888

用winrar 打开E:/heritrix-1.14.3下的heritrix-1.14.jar文件,将其目录中的profiles文件夹拷到

E:/heritrix-1.14.3/conf目录下即完成heritrix的配置

(用些网友说要将jmxremote.password文件的属性改为只读,我不知道为什么?,官方文档里也没说)

4 启动heritrix
开始 -》运行 -》cmd 打开cmd端口
输入heritrix --admin=admin:admin
--admin heritrix的启动参数 必须的*

弹出一个Heritrix窗口   打印。。。。。。。。。。。。。Heritrix version: 1.14.3

cmd窗口打印出
2009-04-15 星期三 10:42:03.04 Starting heritrix
Heritrix 1.14.3 is running.
Web console is at: http://127.0.0.1:8888
Web console login and password: admin/admin
表示启动完成

5 抓取任务

用浏览器打开http://127.0.0.1:8888 输入用户名和密码 
选Jobs选项, 在Create New Job 下选择 With defaults 子项

Create new crawl job based on default profile

Name of new job 和Description 随便写
Seeds 填写要抓取的网站 http://www.verycd.com/  (必须以/结尾)

单击Modules 按钮 

Select Modules and Add/Remove/Order Processors

从上而下,可以看到,需要配置的内容共有7项

1.CrawlScope
CrawlScope用于配置当前应该在什么范围内抓取网页链接。比如,如果选择BroadScope,则表示当前 

抓 取的范围不受限制,但如果选择了HostScope,则表示抓取的范围在当前的Host内。

选择 org.archive.crawler.scope.BroadScope 单击change按钮即可

2.URI Frontier
URI Frontier是一个URL的处理器,它将决定下一个被处理的URL是什么。同时,它还会将经由处理器 

链所解析出来的URL加入到等待处理的队列中去。在例子中,使用BdbFrontier类来做为处理器,全权  

掌管URL的分配

选择 org.archive.crawler.frontier.BdbFrontier 单击change按钮即可

3.Pre Processors
这个队列中,所有的处理器都是用来对抓取时的一些先决条件做判断的。比如判断robot.txt的信息等

,它是整个处理器链的入口

选择org.archive.crawler.prefetch.Preselector 和

org.archive.crawler.prefetch.PreconditionEnforcer 两项 (在下拉列表中选择好,点击Add添加即可



4.Fetcher:从名称上看,它用于解析网络传输协议,比如解析DNS、HTTP或FTP等

选择org.archive.crawler.fetcher.FetchDNS
org.archive.crawler.fetcher.FetchHTTP 两个单击Add添加


5.Extractors
它主要用是于解析当前获取到的服务器返回内容,这些内容通常是以字符串形式缓存的。在这个队列中

,包括了一系列的工具,如解析HTML、CSS等。在解析完毕,取出页面中的URL后,将它们放入队列中,等

待下次继续抓取

org.archive.crawler.extractor.ExtractorHTTP  
org.archive.crawler.extractor.ExtractorHTML
org.archive.crawler.extractor.ExtractorCSS
org.archive.crawler.extractor.ExtractorJS
org.archive.crawler.extractor.ExtractorSWF

6.Writers
Writers主要是用于将所抓取到的信息写入磁盘。通常写入磁盘时有两种形式,一种是采用压缩的方式写

入,在这里被称为Arc方式,另一种则采用镜象方式写入。当然处理起来,镜象方式要更为容易一些。
默认的是Arc方式 点击旁边的Remove 删除 在下拉框中选择

org.archive.crawler.writer.MirrorWriterProcessor 单击Add添加

7 Post Processors
在整个抓取解析过程结束后,进行一些扫尾的工作,比如将前面Extractor解析出来的URL有条件的加入

到待处理队列中去

org.archive.crawler.postprocessor.CrawlStateUpdater
org.archive.crawler.postprocessor.LinksScoper
org.archive.crawler.postprocessor.FrontierScheduler 单击Add添加

【在设置时,可以看见在队列的右侧总是有“Up”、“Down”和“Remove”这样的操作是因为在处理器链

的设置过程中,每一个队列中的处理器都是要分先后顺序的】

设置运行时的参数

在设置完处理链后,选择Jobs菜单的“Settings”项进入运行参数设置页面 . 进入运行参数设置页面

后,有很多可以设定的参数,对于需要了解详情的设置,请点击设置框左边的“?”号,可看到弹出的帮

助信息。这里只要更改 “HTTP-Header”项中的内容,更改其属性值user-agent和 from
其中user-agent中的 PROJECT_URL_HERE 对应自己的完整URL地址,(http://192.168.16.128)
from中设置自己的合法email地址 只需是格式正确的邮件地址就可以
@VERSION@是设置heritrix的版本 填上1.14.3
user-agent Mozilla/5.0 (compatible; heritrix/1.14.3 +http://192.168.16.128)

设置完成后单击“Submit job”链接 会回到Job是页面

显示了“Job created”,这表示刚才所设置的抓取任务已经被成功的建立。同时,在下面的“Pending

Jobs”一栏,可以清楚的看到刚刚被创建的Job,它的状态目前为“Pending”。

最后启动这个任务。回到“Console”界面上,可以看到刚刚创建的任务已经显示了出来,等待我们开始

它。
单击面版中的“Start”链接,就会将此时处于“Pending”状态的抓取任务激活,令其开始抓取
此时,面版中出现了一条抓取状态栏,它清楚的显示了当前已经被抓取的链接数量


抓取完毕后在E:/heritrix-1.14.3/目录下生成以个jobs目录
进入jobs 可以看到 verycd-20090415024225919 其中verycd就是job的名称
进去  里面有一个mirror目录 是因为在前面设置了Writer的类型为MirrorWriter
里面每一个站点的URL地址即为保存的目录名称


至此 heritrix抓取任务就到此结束...

 

 heritrix的配置和抓取任务的创建

今天折腾了半天,终于把Heritrix配置好了,真是太不容易了,要把这个过程写下来。

配置:
1.下载heritrix-1.14.3: http://sourceforge.net/projects/archive-crawler/files/archive-crawler%20%28heritrix%201.x%29/1.14.3/heritrix-1.14.3.zip/download
2.解压到D:/dev/heritrix-1.14.3
3.把heritrix-1.14.3.jar解压并把里面的profiles文件夹拷到conf下
4.修改conf目录下的heritrix.properties为
heritrix.cmdline.admin = admin:admin(表示用户名和密码都是admin,用:分开)
heritrix.cmdline.port = 8080
4.把conf目录下的jmxremote.password.template另存为jmxremote.password并移动到D:/dev/heritrix-1.14.3目录下
5.设置环境变量:
在系统变量里新建 HERITRIX_HOME=D:/dev/heritrix-1.14.3
并在系统变量的path后添加;%HERITRIX_HOME%/bin
6.在命令行下输入heritrix --admin=admin:admin启动heritrix。

抓取任务的创建:
1.在地址栏输入http://localhost:8080出现heritrix,说明已经启动成功。输入用户名和密码并登陆。
2.点击“Jobs”标签页,会出现:
Create New Job
  Based on existing job
  Based on a recovery
  Based on a profile
  With defaults

第一次创建就选"With defaults",输入Name of new job, Description ,seeds的地址,seeds的地址要特别注意,比如http://news.sohu.com/(最后那个/是必须的),如果要输入多个url,可以用回车隔开,也就是每行一个url。
3.点下面的“modules"设置Writers,把默认的ARCWriterProcessor删除,添加MirrorWriterProcessor。
4.点“settings”设置 http-headers(这是非常非常重要的一点,当时折磨了我一个多小时,都快崩溃了,不过关键是我没好好利用起我那本书,要不然就不至于这么惨烈)
给个例子吧,就全明白了:
user-agent:IE/7.0 (compatible; heritrix/1.14.3 +http://10.2.21.240)
from:xxx@163.com
最重要的是user-agent中http前的那个+号,我就因为它一直没跑通,from中填写email地址,只要是email格式的就行
5.最后点击“submit job”就完成了job的创建
6.点“Console”中的start就能开始抓取任务,然后我们就可以在Job Status看到任务的执行情况。

 

Heritrix导入eclipse总结:

 

很长时间就想试试这个强大的爬虫了,但是经过多次在命令行里按照网上的各位大侠的方法都失败,不知道为什么,今天还试了一下1.12.1和1.14.1两个版本的,都是提示密码文件的要设成单用户并只读,我已经如此设置了安全标签,但仍不能解决问题,所以决定在Eclipse里面试一下,多次失败后,终于成功启动了Heritrix!
    下面简要列一下,其实很简单:
    1、在Eclipse下新建一个项目。(哪一个版本应该无所谓吧,JDK1.5);
    2、将1.14.1版的Heritrix两个.zip文件下载并解压到临时目录(heritrix-1.14.1-src.zip和heritrix-1.14.1.zip);
    3、从第一个zip文件解压目录下/src/java复制三个文件夹(包):org、com、st到项目中的src上;
    4、从第一个zip文件解压目录下/src/conf复制所有文件夹及文件到项目根目录中(可能有不需要的文件);
    5、从第一个zip文件解压目录下/src/resourses复制所有文件夹及文件到项目根目录中(可能有不需要的文件);
    6、从第二个zip文件解压目录下复制webapps目录到项目根目录中;
    7、把项目下Heritrix.properties文件复制到/src目录下(实践中发现);
    8、在项目上鼠标右键->构建路径->添加外部归档 找到任意一个解压的目录下的lib文件夹,选中文件夹中的所有包;
    9、从第一个zip文件解压目录下/src/conf/下的profiles文件夹复制到Eclipse工作空间所在分区的根目录;
    10、配置Heritrix.properties,主要配置四项:如下红色部分所示
##############################################################################
# HERITRIX PROPERTIES
##############################################################################

# Properties with prefixes 'heritrix.', 'org.archive.', or 'system.' prefix
# get copied into System.properties on startup so available via
# System.getProperties. (For 'system.' properties, that prefix is stripped.
# (See Heritrix.loadProperties()).

# Version is filled in by the maven.xml pregoal. It copies here the project
# currentVersion property.
heritrix.version = 1.14.1

# Location of the heritrix jobs directory.
heritrix.jobsdir = jobs

# Default commandline startup values.
# Below values are used if unspecified on the command line.
heritrix.cmdline.admin = admin:admin
heritrix.cmdline.port = 8088
heritrix.cmdline.run = false
heritrix.cmdline.nowui = false
heritrix.cmdline.order =
heritrix.cmdline.jmxserver = false
heritrix.cmdline.jmxserver.port = 8081

##############################################################################
# LOGGING
##############################################################################

    11、在Eclipse下启动Heritrix,找到项目src下的org.archive.crawler包下的主类Heritrix.java鼠标右键->运行方式->java项目,即可启动Heritrix!
    启动后,Eclipse状态栏信息如下:
08:32:15.468 EVENT  Starting Jetty/4.2.23
08:32:15.734 WARN!! Delete existing temp dir C:/DOCUME~1/ycf/LOCALS~1/Temp/Jetty_127_0_0_1_8088__ for WebApplicationContext[/,jar:file:/E:/projects/eclipse_workspace/Heritrix1.14.1/webapps/admin.war!/]
08:32:16.171 EVENT  Started WebApplicationContext[/,Heritrix Console]
08:32:16.609 EVENT  Started SocketListener on 127.0.0.1:8088
08:32:16.609 EVENT  Started org.mortbay.jetty.Server@137c60d
Heritrix version: 1.14.1

    上面的包的复制都在直接在Eclipse里面的项目上直接进行的,这样可以减少修改Eclipse的项目配置文件。

 

参考文献:

http://yeniu040209.javaeye.com/blog/356743

http://hi.baidu.com/z57354658/blog/item/32f936ea0d62d4d9d439c960.html

http://www.javaeye.com/topic/262753

http://daisy8564.javaeye.com/blog/473370

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值