IndexReader中maxDoc()和numDocs()的区别

最新推荐文章于 2019-03-31 10:24:44 发布
最新推荐文章于 2019-03-31 10:24:44 发布
阅读量887 收藏 1
点赞数
分类专栏： lucene
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/asdfsadfasdfsa/article/details/78071692
版权

maxDoc()和numDocs()。前者返回下一个可用的内部Document号，后者返回索引中的Document的数目。因为我们的索引只含有两个Document，numDocs()返回2；又因为Document号从0开始，maxDoc()也返回2。

    注意：每个Lucene的Document有个唯一的内部编号。这些编码不是永久分配的，因为Lucene索引分配时在内部重新分配Document的编号。因此，你不能假定一个给定的Document总是拥有同一个Document编号。（所才有上文中利用组合域确定唯一文档的需要）

車輪の唄
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
aws-lambda-s3-index-search:通过保留AWS S3中的Lucene索引和通过AWS Lambda的搜索请求，使完整的搜索架构变得无服务器
05-18
aws-lambda-s3-index-search 这将允许您在S3中维护Lucene索引，并在S3存储桶中运行Lucene搜索。 这里的想法是通过将Lucene索引保留在S3中，从而使完整的搜索体系结构变得无服务器，这为我们提供了无限的廉价存储，并利用AWS Lambda无服务器平台来保持请求的廉价和可扩展性。 尽管还不能真正实现可伸缩性，但由于IndexReader的首次初始化需要花费一些时间来加载。 因此，通过保持其在构造函​​数中的初始化来保持读者的关注。 这会使第一次运行变慢，但随后的所有运行都可以达到ms。 由于lucene通过java nio2与文件交互，因此可以使用com.upplication.s3fs包实现此实现，该包在S3文件系统的顶部提供了nio2实现。 未来状态 直接索引到S3使得双向都无服务器：由于S3不允许Lucene要求的文件的原子移动，我们尚无
Lucene中文分词组件 JE-Analysis 1.4.0
09-22
该组件免费安装使用传播，无限制商业应用，但暂不开源，也不提供任何保证 分词效率： 第一次分词需要1－2秒（读取词典），之后速度基本与Lucene自带分词持平 运行环境： Lucene 1.9+ 内存消耗： 30M+ 1.4.0 —— 2006-08-21 增加词典的动态扩展能力 1.3.3 —— 2006-07-23 修正无法多次增加词典的问题 1.3.2 —— 2006-07-03 修正细粒度分词错误的问题 1.3.1 —— 2006-06-23 修正在某些情况下分词遗漏的问题 1.3 —— 2006-06-22 实现了词尾消歧算法中第一层的过滤 增加日期时间的匹配 1.2.2 —— 2006-06-13 完善了中英文噪声词典 1.2.1 —— 2006-06-10 修正中文数字成语无法识别的问题 1.2 —— 2006-06-08 增加中文数字的匹配（如：二零零六） 数量词采用“n”作为数字通配符 优化词典结构以便修改调整 1.1 —— 2006-06-06 增加扩展词典的静态读取方法 1.0.1 —— 2006-06-02 修正无法识别生僻字的问题 1.0 —— 2006-05-29 支持英文、数字、中文（简体）混合分词 常用的数量和人名的匹配 超过22万词的词库整理 实现正向最大匹配算法 //采用正向最大匹配的中文分词算法，相当于分词粒度等于0 MMAnalyzer analyzer = new MMAnalyzer(); //参数为分词粒度：当字数等于或超过该参数，且能成词，该词就被切分出来 MMAnalyzer analyzer = new MMAnalyzer(2); //增加一个新词典，采用每行一个词的读取方式 MMAnalyzer.addDictionary(reader); //增加一个新词 MMAnalyzer.addWord(newWord); package demo.analysis; import java.io.IOException; import jeasy.analysis.MMAnalyzer; public class Segment { public static void main(String[] args) { String text = "据路透社报道，印度尼西亚社会事务部一官员星期二(29日)表示，" + "日惹市附近当地时间27日晨5时53分发生的里氏6.2级地震已经造成至少5427人死亡，" + "20000余人受伤，近20万人无家可归。"; MMAnalyzer analyzer = new MMAnalyzer(); try { System.out.println(analyzer.segment(text, " | ")); } catch (IOException e) { e.printStackTrace(); } } } 生成效果： 据 | 路透社 | 报道 | 印度尼西亚 | 社会 | 事务 | 部 | 官员 | 星期二 | 29日 | 表示 | 日惹 | 市 | 附近 | 当地时间 | 27日 | 晨 | 5时 | 53分 | 发生 | 里氏 | 6.2级 | 地震 | 已经 | 造成 | 至少 | 5427人 | 死亡 | 20000 | 余人 | 受伤 | 近 | 20万人 | 无家可归 | package demo.analysis; import jeasy.analysis.MMAnalyzer; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.queryParser.QueryParser; import org.apache.lucene.search.Hits; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; import org.apache.lucene.store.Directory; import org.apache.lucene.store.RAMDirectory; public class Segment { public static void main(String[] args) { String fieldName = "text"; String text = "据路透社报道，印度尼西亚社会事务部一官员星期二(29日)表示，" + "日惹市附近当地时间27日晨5时53分发生的里氏6.2级地震已经造成至少5427人死亡，" + "20000余人受伤，近20万人无家可归。"; //检索内容 //采用正向最大匹配的中文分词算法 Analyzer analyzer = new MMAnalyzer(); Directory directory = new RAMDirectory(); //Directory directory = FSDirectory.getDirectory("/tmp/testindex", true); try { IndexWriter iwriter = new IndexWriter(directory, analyzer, true); iwriter.setMaxFieldLength(25000); Document doc = new Document(); doc.add(new Field(fieldName, text, Field.Store.YES, Field.Index.TOKENIZED)); iwriter.addDocument(doc); iwriter.close(); IndexSearcher isearcher = new IndexSearcher(directory); QueryParser parser = new QueryParser(fieldName, analyzer); Query query = parser.parse("印度尼西亚 6.2级地震");//检索词 Hits hits = isearcher.search(query); System.out.println("命中：" + hits.length()); for (int i = 0; i < hits.length(); i++) { Document hitDoc = hits.doc(i); System.out.println("内容：" + hitDoc.get(fieldName)); } isearcher.close(); directory.close(); } catch (Exception e) { e.printStackTrace(); } } } 生成效果： 命中：1 内容：据路透社报道，印度尼西亚社会事务部一官员星期二(29日)表示，日惹市附近当地时间27日晨5时53分发生 的里氏6.2级地震已经造成至少5427人死亡，20000余人受伤，近20万人无家可归。 package demo.analysis; import jeasy.analysis.MMAnalyzer; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.index.IndexReader; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.TermPositionVector; import org.apache.lucene.queryParser.QueryParser; import org.apache.lucene.search.Hits; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; import org.apache.lucene.search.highlight.Highlighter; import org.apache.lucene.search.highlight.QueryScorer; import org.apache.lucene.search.highlight.TokenSources; import org.apache.lucene.store.Directory; import org.apache.lucene.store.RAMDirectory; public class Segment { public static void main(String[] args) { String fieldName = "text"; String text = "据路透社报道，印度尼西亚社会事务部一官员星期二(29日)表示，" + "日惹市附近当地时间27日晨5时53分发生的里氏6.2级地震已经造成至少5427人死亡，" + "20000余人受伤，近20万人无家可归。"; //检索内容 //采用正向最大匹配的中文分词算法 Analyzer analyzer = new MMAnalyzer(); Directory directory = new RAMDirectory(); //Directory directory = FSDirectory.getDirectory("/tmp/testindex", true); try { IndexWriter iwriter = new IndexWriter(directory, analyzer, true); iwriter.setMaxFieldLength(25000); Document doc = new Document(); doc.add(new Field(fieldName, text, Field.Store.YES, Field.Index.TOKENIZED, Field.TermVector.WITH_POSITIONS_OFFSETS)); iwriter.addDocument(doc); iwriter.close(); IndexSearcher isearcher = new IndexSearcher(directory); QueryParser parser = new QueryParser(fieldName, analyzer); Query query = parser.parse("印度尼西亚 6.2级地震");//检索词 Hits hits = isearcher.search(query); System.out.println("命中：" + hits.length()); Highlighter highlighter = new Highlighter(new QueryScorer(query)); for (int i = 0; i < hits.length(); i++) { text = hits.doc(i).get(fieldName); TermPositionVector tpv = (TermPositionVector) IndexReader.open( directory).getTermFreqVector(hits.id(i), fieldName); TokenStream tokenStream = TokenSources.getTokenStream(tpv); String result = highlighter.getBestFragments(tokenStream, text, 3, "..."); System.out.println("内容：" + result); } isearcher.close(); directory.close(); } catch (Exception e) { e.printStackTrace(); } } } 生成效果： 命中：1 内容：据路透社报道，<B>印度尼西亚</B>社会事务部一官员星期二(29日)表示，日惹市附近当地时间27日晨5时53分发生的 里氏<B>6.2级</B><B>地震</B>已经造成至少5427人死亡，20000余人受伤，近20万人无家可归
全文检索---lucene学习笔记 有案例
yanming8888的专栏
04-11 162
最近要做检索了，特来学习复习lucene,原理跟数据库的索引一样！ 1、注意false和true区别 IndexWriter writer = new IndexWriter(indexpath, getAnalyzer(),false); IndexWriter writer = new IndexWriter(indexpath, getAnalyzer(),tru...
lucene学习之查询
小魏的博客
04-20 227
Directory d = FSDirectory.open(Paths.get("D:/lucene/index")); IndexReader indexReader = DirectoryReader.open(d); System.out.println("maxdoc: "+indexReader.maxDoc()); System.out.println("numdoc: "+i
【Lucene】IndexReader类的maxDoc()与numDocs()的区别
川在路上
12-02 2587
http://hi.baidu.com/sunky/item/31fdfef9ad1a9d763d198b47 1）Let us see the difference in the comment of  Class IndexReader   /** Returns the number of documents in this index. */   public
（五）Lucene中maxDoc 和numDocs()方法的区别
goldmei一枝梅的专栏
11-18 1264
特别注意maxDoc 和numDocs()方法的区别： maxDoc（）返回索引中删除和未被删除的文档总数， numDocs() 返回索引中未被删除的文档总数， 因为我们删除一个索引之后并不是真正的删除，而是放在了回收站，当然这里的回收站只是通俗说法。
js-bv-sampling:bai (bam) 和 tba (vcftabix) 索引文件和二进制读取器上的 Javascript 读取深度和随机采样
07-11
bai (bam) 和 tba (vcf/tabix) 索引文件和二进制读取器上的 Javascript 读取深度和随机采样 function estimateCoverageDepth ( indexReader , cb ) 使用区域段中的字节作为指标的相应数据文件的覆盖深度估计器...
learn-lucene:lucene学习
07-03
创建directory创建IndexWriter创建Document为Document添加Field通过IdexUriter添加文档到索引中搜索的步骤：创建directory创建IndexReader根据IndexReader创建IndexSearcher创建Query根据searcher搜索并返回对象...
Lucene3.1使用教程.doc
05-09
ParallelMultiSearcher被直接吸收到 IndexReader 类中 8. 在 64位的Windows 和 Solaris JVMs, MMapDirectory 作为默认的 FSDirectory.open 的实现 9. 新的 TotalHitCountCollector用来获取索引的命中数 10. ...
must,must_not,should组合关系以及OR和AND
[email protected]
12-10 9416
1. 所有的组合关系都是对OR而言, AND连接符不予分析 2. MUST_NOT和其他语句连接在一起时, 只做过滤, 不参与打分     3. editionkey:(13 25 ) 代表筛选出 13或15 -editionkey:(13 25 )代表过滤掉13 和 15...
关于flush操作
[email protected]
12-22 5908
flush动作不是将内存中缓存的索引写入磁盘, 而是写入操作系统缓冲区??? 只有Index Writer上的commit操作才会导致ram directory上的数据完全同步到文件。Index Writer提供了实时获得reader的API，这个调用将导致flush操作，生成新的segment，但不会commit（fsync），从而减少 了IO。新的segment被加入到新生成的 r
Query的子类ConstantScoreQuery
[email protected]
12-09 2664
主要用于过滤查询和将multiTermQuery rewrite为原子查询后使用的查询对象, 他会返回一个constantquery   A query that wraps another query or a filter and simply returns a constant score equal to the  query boost for every document tha...
tf/idf评分算法
[email protected]
09-14 2602
lucene 的评分机制 elasticsearch是基于lucene的，所以他的评分机制也是基于lucene的。评分就是我们搜索的短语和索引中每篇文档的相关度打分。 如果没有干预评分算法的时候，每次查询，lucene会基于一个评分算法来计算所有文档和搜索语句的相关评分。 使用lucene的评分机制基本能够把最符合用户需要的搜索放在最前面。 当然有的时候，我们可能想要自定义评分算法，这个就和lu...
lucene 搜索过程
[email protected]
09-26 2195
IndexSearcher是搜索的入口，主要提供的api都是关于search的。关于搜索，比较有意思的话题有这么几个：如何计算打分，这个问题已经在空间向量模型一文中讨论过？如何从一个搜索词得到一个Query对象？如何从Query对象到评分器从而计算打分的？几个重要的参数是如何在被组织起来计算的，比如n, filter, sort, collector等。另外，分页是如何进行的？   本文以展
为什么Lucene检索可以比mysql快
[email protected]
03-31 2047
Mysql只有term dictionary这一层，是以b-tree排序的方式存储在磁盘上的。检索一个term需要若干次的random access的磁盘操作。而Lucene在term dictionary的基础上添加了term index来加速检索，term index以树的形式缓存在内存中。从term index查到对应的term dictionary的block位置之后，再去磁盘上找term...
WildCardQuery
[email protected]
03-13 1935
WildCardQuery：只要知道“*”表示0到多个字符，而使用“？”表示一个字符就行了：\IndexSearcher searcher=new IndexSearcher(path); Term t1=new Term("content","?o*"); WildcardQuery query=new WildcardQuery(t1); Hits hits=searcher.search...
Lucene 索引去重
[email protected]
08-30 1822
在使用Lucene过程中，会发现当我们为添加新的Document时，会产生重复现象（两次添加同一个Document），毕竟Lucene中没有像数据库中一样，有键可以区分。不过我们可以通过为Document建立类似于键的域，来防止添加重复的Document。 示例（id这个域就当做键使用了，推荐使用MD5码之类的唯一性较好的作为键）：   Document document = new D...
lucene API中的search和searchAfter
[email protected]
05-31 1809
 Lucene 3.5开始对深度分页支持，在之前的版本是提供分页的方法，只能根据自己的应用场景去写分页的方法！在《lucene in action》一书中提现两种分页的方法：1、将首次搜索获得的多页搜索结果收集起来并保存在ScoreDocs和IndexSearcher实例中，并在用户换页浏览时展现这几页的结果。     2、每次用户换页浏览时都重新进行查询操作。按这两个方法是可以做出分页的，只是效...
java中rangeQuery和termQuery可以同时使用吗
最新发布
06-01
是的，Java中的Lucene库可以同时使用rangeQuery和termQuery，以组合查询来实现更复杂的搜索需求。例如，如果您想在指定的时间范围内搜索所有包含特定关键字的文档，则可以使用rangeQuery来限制时间范围，使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值