nutch-1.2在搜索HDFS过程中高并发的处理

紧接着昨天的一篇文档写下去。nutch-1.2结合hadoop搜索，在高并发的情况下，搜索的速度如何提升。

1、其实通过看nutch-1.2中的NutchBean源码程序不难发现，它在搜索的时候，有几个实现类，RPCSearchBean、DistributedSearchBean、SolrSearchBean。在RPCSearchBean中还有LuceneSearchBean，和NutchBean.这里我是使用的NutchBean.在搜索过程中，发出一个search的请求，hadoop接受到这个请求后，会从各个的slaves节点上收集信息，然后返回给master。master返回给nutch.原理是这个样子的。这里我是把FetchedSegments 中的getParseData 方法的同步代码去掉了，可以让大量的请求过来搜索。因为我在初始化的时候只打开一次HDFS的 index.

希望这些对大家的工作过程中有所帮助！