![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
lucene
文章平均质量分 78
jj380382856
这个作者很懒,什么都没留下…
展开
-
基于lucene的mr索引程序的实现
之前做过一个基于solrJ的mr索引程序,性能并不理想,想着solr的底层就是lucene,所以我用相应版本的lucene做了一个mr程序,程序性能提高了30-40倍(同样的分词器),实验证明创建出来的索引能被solrcloud识别,此程序只用到了map过程,生成的文件最后经过一次本地的合并形成最终的索引。下面放出部分主要程序代码:public static class TestM原创 2016-07-20 15:24:34 · 587 阅读 · 0 评论 -
lucene索引源码分析1
前面的一些文章主要分析了一些solr索引处理的流程,和索引文件打交道的是lucene的工作,下面我们基于lucene5.3.1对它的索引流程进行分析。在开始前请允许我盗图一张,下面是lucene索引链的流程图我们一般用IndexWriter写索引的代码如下:indexWriter.addDocument(doc1);或者indexWriter.addDocument原创 2016-09-02 09:54:01 · 1394 阅读 · 0 评论 -
lucene索引源码分析2
上一篇文章大概讲了索引从indexwriter到defaultindexchain的过程,也分析了defaultindexchain的基本流程,主要就是:将dwpt接收的每个文档一条条处理---》对每一条文档再按Field依次处理---》对每个Field依据他是否分词,是否存储是否有docvalue再分别处理。可见每个dwpt之间是并行的做事情,每个dwpt内是串行的做事情。每个f原创 2016-09-30 16:09:40 · 1257 阅读 · 1 评论