Lucene中fieldNorm的精度问题

最新推荐文章于 2022-09-10 00:13:19 发布

jollyjumper

最新推荐文章于 2022-09-10 00:13:19 发布

阅读量2.3k

点赞数 1

分类专栏：搜索引擎文章标签： lucene java

本文链接：https://blog.csdn.net/jollyjumper/article/details/17803145

版权

搜索引擎专栏收录该内容

45 篇文章 0 订阅

订阅专栏

http://stackoverflow.com/questions/15135872/lucene-fieldnorm-discrepancy-between-similarity-calculation-and-query-time-value

默认计算是

state.getBoost() * ((float) (1.0 / Math.sqrt(numTerms))),index阶段计算是正确的,但是使用一个字节压缩编码,大概会有0.1的精度损失.

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

jollyjumper

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

lucene fieldNorm lengthNorm未真正计算文档长度

doublecj的专栏

12-16

1564

lucene 相似度默认实现：计算文档长度时没有调用lengthNorm方法文档长度。 public float lengthNorm(String fieldName, int numTerms) { return (float) (1.0 / Math.sqrt(numTerms)); } 源码剖析： TermQuery类下的方法： public Explanation expla

jieba-lucene-analiysis:jieba的lucene中文分析器和令牌生成器

05-10

这个项目的主要目的是解决在Lucene中对中文文本进行索引和搜索时的效率和准确性问题。 1. **jieba分词库**： Jieba是一个开源的Python库，专门用于中文分词。它提供了精确模式、全模式和搜索引擎模式等不同的分词...

参与评论您还未登录，请先登录后发表或查看评论

Lucene打分规则与Similarity模块详解

dac55300424的专栏

03-05

993

搜索排序结果的控制 Lucnen作为搜索引擎中，应用最为广泛和成功的开源框架，它对搜索结果的排序，有一套十分完整的机制来控制；但我们控制搜索结果排序的目的永远只有一个，那就是信息过滤，让用户快速，准确的找到其想要的结果，丰富用户体验。以前看过一个牛人的博客，总结了4个地方，可对Lucene检索结果的排序进行控制，现在已经记不住。我自己简单整理了下面几个，若有疏漏，欢迎补充： 1

Lucene 源码分析之Field

zhouzhiwengang的专栏

07-07

1184

Field 类：文档对象中的属性域值，属性域值由三部分构成：名称(name)、类型（type）和值类型（value）。值类型（value）主要分为三大类：一类是文本值类型（text）[(String, Reader or pre-analyzed TokenStream)]、一类是二进制类型（binary）[{byte[]}]、一类是数值类型（numeric）[{ Number}]. F

Lucene 之又一奇葩设定：lengthNorm 导致文章越长，排名越后

sinat_27171121的博客

09-10

225

上文中自定义了 WordBreakFilter，可以大幅地改善结果排序，更加精确地命中汉语词组。但最近又发现一个排序上的错误：以`开心`为关键词全文搜索《牛津英语词典》之时，词条“unrip”……

solr fieldLength fieldNorm精度影响搜索结果的得分

Oliverkehl的专栏

02-28

2312

1.USolr.jar 中修正了edismax默认如果查询中有空格，这个空格代表的意思是and，所以需要手动将空格用正则表达式替换为单个空格，然后再将单个空格替换为" or "，从而满足 query “复旦大学枫林图书馆” 时不会出现垃圾结果，儿应该使复旦大学张江图书馆等类似信息靠前。 2.将索引中所有XX人民政府的信息全部删除并且重新建立索引，将“人民”二字剔除并存储到别名var_al

Lucene_简介

热门推荐

Regan_Hoo的博客

12-14

4万+

Lucene概述Lucene是一款高性能的、可扩展的信息检索（IR）工具库。信息检索是指文档搜索、文档内信息搜索或者文档相关的元数据搜索等操作。索引过程：①获取内容②建立文档获取原始内容后，就需要对这些内容进行索引，必须首先将这些内容转换成部件（通常称为文档），以供搜索引擎使用。文档主要包括几个带值的域，比如标题、正文、摘要、作者和链接。③文档分析搜索引擎不能直接对文本进行索引：确切地说，

lucene-core-7.2.1-API文档-中文版.zip

07-12

赠送jar包：lucene-core-7.2.1.jar；赠送原API文档：lucene-core-7.2.1-javadoc.jar；赠送源代码：lucene-core-7.2.1-sources.jar；...人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。

lucene实现过程中存在的问题

02-21

### Lucene实现过程中存在的问题及解决方式 #### 一、Lucene简介与应用场景 Lucene是一款高性能、全功能的文本搜索引擎库，它被广泛应用于各种需要进行高效全文检索的应用场景中，例如网站搜索、文档管理等。由于...

lucene-core-7.7.0-API文档-中文版.zip

07-13

赠送jar包：lucene-core-7.7.0.jar；赠送原API文档：lucene-core-7.7.0-javadoc.jar；赠送源代码：lucene-core-7.7.0-sources.jar；...人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。

基于Lucene的语段模糊匹配中文检索系统设计与实现 (2009年)

04-27

- **LUCENE接口实现**：根据LUCENE的框架，需要实现org.apache.lucene.analysis中的Analyzer接口和Tokenizer接口，以便为系统提供所需的中文语言处理能力。这一过程涉及到中文词汇的识别、去除停用词以及可能的词干...

有关Lucene的问题(4):影响Lucene对文档打分的四种方式

diebiaosang4496的博客

02-08

336

在索引阶段设置Document Boost和Field Boost，存储在(.nrm)文件中。如果希望某些文档和某些域比其他的域更重要，如果此文档和此域包含所要查询的词则应该得分较高，则可以在索引阶段设定文档的boost和域的boost值。这些值是在索引阶段就写入索引文件的，存储在标准化因子(.nrm)文件中，一旦设定，除非删除此文档，否则无法改变。如果不进行设定，则Documen...

Lucene中打分机制

zhouwenyuan1015的博客

12-24

542

主要是个人学习使用，如有问题，烦请指正。 Elasticsearch 中explain评分分析：解释document评分怎么来的。即query与doc匹配得分。原理：综合query中每个term与文档的打分。对query， doc进行综合打分排序。 term 与query打分：主要参考： term自身tfidf， doc自身特性， query特性。总体为： query weight， field weight（这里的field理解为doc可能更好些）文章末尾： https://www.

影响Lucene对文档打分的四种方式

csy463168656的专栏

12-12

1229

本文转自：http://forfuture1978.iteye.com/blog/591804 在索引阶段设置Document Boost和Field Boost，存储在(.nrm)文件中。如果希望某些文档和某些域比其他的域更重要，如果此文档和此域包含所要查询的词则应该得分较高，则可以在索引阶段设定文档的boost和域的boost值。这些值是在索引阶段就写入索引文件的，存储在标准化因子(

12) 第二章索引：规则(Norms)

为中华之崛起而编码

06-10

180

在索引阶段，文档(Document)中每个被索引的域(Field)都可能有一个优先权重因数(boost)，它是一个浮点值。该值由三部分联合计算得到：文档自身的boost值；每个域的值；Lucene根据各词元在域中的频度算出的boost值；得到最终的boost值后，Lucene会通过一些巧妙的方法把它转换成一个字节，并将其存入文档的各个域。待到搜索阶段，每个被查询域的规则都...

Lucene默认打分算法

A_man_only的专栏

07-20

317

D：文档 Q：查询条件 score(D,Q)：指使用Q的查询语句在该文档下的打分函数 coord(q,d)：得分因子，score factor，一个文档中包含越多的查询Term词，则该文档的得分越高，对应lucene类TFIDFSimilarity.coord(int overlap, int maxOverlap)； queryNorm(q)：归一化因子，normalizing factor，使得不同查询间的得分具有可比性，但并不会影响文档的排序， tf(t in d)：Term在文档d中出..

lucene omitNorms 的影响

我相信

12-29

947

lucene norm 标准化因子

12-12

1135

摘自forfuture1978的lucene系列文章，以供特别理解标准化因子为什么会有标准化因子呢？从第一章中的描述，我们知道，在搜索过程中，搜索出的文档要按与查询语句的相关性排序，相关性大的打分(score)高，从而排在前面。相关性打分(score)使用向量空间模型(Vector Space Model)，在计算相关性之前，要计算Term Weight，也即某Term相对于某D

基于词典与规则的中英文分词器提升Lucene检索精度

中文分词及其在基于Lucene的全文检索中的应用是一篇针对中文信息处理技术的深度研究论文，作者李雪松在硕士论文中探讨了如何提高Lucene搜索引擎在处理大量中文文本时的效率和准确性。Lucene是一个流行的开源全文检索...