nutch

nutch的分布式前台由若干数据服务器(server)及一个客户端(Client)组成

nutch的数据服务器实现了以下几个接口:

  /** The distributed search protocol. */   public interface Protocol     extends Searcher, HitDetailer, HitSummarizer, HitContent {

    /** The name of the segments searched by this node. */     String[] getSegmentNames();   }

nutch把整个前台搜索过程分割成Searcher,HitDetailer,HitSummarier,HitContent这几个过程.

Searcher接受的参数是查询字符串和一些参数,如排序方式,返回的是Hits结构,Hits结构包含一个Hit结构的数组,Hit结构包含的主要是一条检索结果的docid和score

HitDetaiiler接受的参数是Searcher返回的Hit数组,返回的是HitDetails的数组,HitDetails除了含有一条检索结果的docid,还包含了lucene的index中除了docid域中之外的其他域,比如url,上下文.在nutch的实现中HitDetailer和Searcher使用相同的lucene index

HitSummarizer接受的参数是HitDetailer返回的HitDetails数组,它返回上下文标红后的结果

HitContent接受的参数也是HitDetailer返回的HitDetails数组,它返回cache的整个网页

nutch的客户端与其数据服务器间通过org.apache.nutch.ipc.RPC进行通讯,该类实现了Method的远程调用,caller端将Method的参数二进制串行化传到callee端,callee执行后把返回值二进制串行化后再返回给caller的服务器,传输通过socket.

这样Server仅需要实现接口Protocol,Client即可远程调用Server端的函数．