【Elasticsearch】Elasticsearch 相关度评分 TF&IDF

最新推荐文章于 2021-08-12 16:01:23 发布
最新推荐文章于 2021-08-12 16:01:23 发布
阅读量463 收藏
点赞数
分类专栏： 大数据-Elasticsearch 文章标签： elasticsearch 算法 评分
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/108919167
版权
大数据-Elasticsearch 专栏收录该内容
556 篇文章 544 订阅 ¥79.90 ¥99.00
订阅专栏

文章目录


在这里插入图片描述

1.概述

relevance score算法，简单来说，就是计算出，一个索引中的文本，与搜索文本，他们之间的关联匹配程度

Elasticsearch使用的是 term frequency/inverse document frequency算法，简称为TF/IDF算法

Term frequency(TF)：搜索文本中的各个词条在field文本中出现了多少次，出现次数越多，就越相关

Inverse document frequency(IDF)：搜索文本中的各个词条在整个索引的所有文档中出现了多少次，出现的次数越多，就越不相关

示例：

搜索请求：hello world


                

                
                
        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  九师兄
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
springboot整合elasticsearch7实现es数据同步，查询、相关度排序、高亮显示、自动补全搜索等功能。

				
			

			

				

					03-31
				

			

		

		

			
				
springboot整合elasticsearch7，进行数据同步。elasticsearch相关度查询、排序。高亮显示；自动补全等功能。代码仅供参考，代码中有具体的注释，可以根据代码及注释内容，对自己项目架构及业务进行修改、整合。

			
		

	



                

              
                



	

		

			

				
					
Elasticsearch相关评分度TF/IDF算法揭秘

				
			

			

				

					【原】编程界的小学生
				

				

					05-18
					
					1746
					
				

			

		

		

			
				
编程界的小学生一、算法介绍1、TF1.1、概念1.2、举例2、IDF2.1、概念2.2、举例3、补充3.1、说明3.2、举例二、Demo演示1、数据准备2、进行搜索3、结果分析
一、算法介绍

Elasticsearch采取的是TF/IDF算法来评估score的，而score决定了排序。每次搜索score分数越大的越靠前。

1、TF
1.1、概念
Term Frequency简称TF，就是搜索文本中的各个词条在要搜索的field文本中出现的次数，次数越多就越相关。
1.2、举例
比如：
doc1：hell

			
		

	



                


  
              

                


	

		

			

				
					
Elasticsearch 相关度评分TF&IDF算法揭秘

				
			

			

				

					程序员学习圈
				

				

					02-27
					
					912
					
				

			

		

		

			
				
1.算法介绍

 relevance score算法，简单来说，就是计算出，一个索引中的文本，与搜索的文本，他们之间的关联匹配程序

 ElasticSearch使用的是term frequency/inverse document frequency算法，简称TF/IDF算法

 Term frequency，搜索文本中的各个词条在field文本中出现了多少次，出现次数越多，就...

			
		

	





	

		

			

				
					
Elasticsearch全文搜索与TF/IDF

				
			

			

				

					weixin_33777877的博客
				

				

					12-24
					
					227
					
				

			

		

		

			
				
2019独角兽企业重金招聘Python工程师标准>>>   
                                        
         ...

			
		

	



		

			
		



	

		

			

				
					
TF-IDF 算法 以及 Elasticsearch中的打分

				
			

			

				

					weixin_44715126的博客
				

				

					01-02
					
					982
					
				

			

		

		

			
				
TF-IDF算法
elasticsearch打分机制
根据阅读量提高曝光度的方法

			
		

	





	

		

			

				
					
使用Elasticsearch做向量空间内的相似性搜索

				
			

			

				

					点火三周的专栏
				

				

					01-30
					
					9627
					
				

			

		

		

			
				
文章目录索引`Word Embeddings`评分的余弦相似度局限性通过抽象属性搜索
Elasticsearch做文本检索是基于文本之间的相似性的。在Elasticsearch 5.0中，Elasticsearch将默认算法由TF / IDF切换为Okapi BM25，该算法用于对与查询相关的结果进行评分。对Elasticsearch中的 TF / IDF 和 Okapi BM25感兴趣的可以直接...

			
		

	





	

		

			

				
					
elasticsearch_ES_Elasticsearch界面_elasticsearch_源码

				
			

			

				

					10-04
				

			

		

		

			
				
一个搜索框架的管理界面项目，可以监控管理相关的微服务

			
		

	





	

		

			

				
					
es docker 部署 elasticsearch.yml

				
			

			

				

					03-19
				

			

		

		

			
				
docker run --name elasticsearch7.16.3 -p 127.0.0.1:9200:9200 -p 127.0.0.1:9300:9300 -e "discovery.type=single-node" -v /Users/xingyue/Home/xingyue/学习/工程化/es/elasticsearch.yml:/usr/share/elastic...

			
		

	





	

		

			

				
					
elasticsearch-7.17.6及对应版本IK分词

				
			

			

				

					02-19
				

			

		

		

			
				
elasticsearch-7.17.6及对应版本IK分词 适合人群：elasticsearch初学者  Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。Logstash 和 Beats 有助于收集、聚合和丰富您的数据并将其存储在 Elastic...

			
		

	





	

		

			

				
					
elasticsearch-8.2.3 windows 版本

				
			

			

				

					06-21
				

			

		

		

			
				
elasticsearch-8.2.3 windows 版本。 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的...

			
		

	





	

		

			

				
					
Elasticsearch相关度评分算法

				
			

			

				

					不见其长，日有所长
				

				

					11-12
					
					1923
					
				

			

		

		

			
				
1. 相关度评分算法的组成
对于Elasticsearch而言，相关度评分的计算规则通过三部分组成: boolean model，TF/IDF，Vector space model。这三个部分没有所谓的权重，它们是平等的，计算时逐层推进。
1.1 boolean model
boolean model是相关度分数计算的第一步操作。
Elasticsearch搜索时，首先根据搜索条件，过滤出符合条件的document，此时Elasticsearch不会做任何的相关度分数计算，仅仅只记录true或false，标

			
		

	





	

		

			

				
					
【ES】ElasticSearch搜索的底层原理？倒排索引和TF-IDF打分算法

				
			

			

				

					锥栗的博客
				

				

					08-12
					
					2771
					
				

			

		

		

			
				
倒排索引及其结构
传统的正向索引是通过文章，逐个遍历找到对应关键词的位置。
倒排索引也叫反向索引，是通过词找到词在文档中的出现位置。

Term（单词）：就是单词，或者叫分词。
Term Index（单词索引）：Term Index存储某些单词的前缀，它在内存中以FST（Finite State Transducers）的数据结构保存的，可以更快的找到目标单词。
Term Dictionary（单词字典）：维护了单词Term的集合。Term Dictionary的单词非常多，所以会对它们进行排序，查找的时候

			
		

	





	

		

			

				
					
java es score_elasticsearch学习笔记（三十）——Elasticsearch 相关度评分 TF&IDF算法

				
			

			

				

					weixin_42510188的博客
				

				

					02-26
					
					292
					
				

			

		

		

			
				
Elasticsearch的相关度评分(relevance score)算法采用的是term frequency/inverse document frequency算法，简称为TF/IDF算法。算法介绍relevance score算法，简单来说就是，就是计算出一个索引中的文本，与搜索文本，它们之间的关联匹配程度。TF/IDF算法，分为两个部分，IF 和IDFTerm Frequency(TF)...

			
		

	





	

		

			

				
					
elasticsearch的TF/IDF打分公式总结

				
			

			

				

					lhj_sjtu的博客
				

				

					09-17
					
					6468
					
				

			

		

		

			
				
elasticsearch的TF/IDF打分公式



NLP中的TF/IDF


TF 
TF(term frequency)这个数字是对词数(term count)的归一化，以防止它偏向长的文件。
IDF 
逆向文件频率（inverse document frequency，IDF）是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数...

			
		

	





	

		

			

				
					
TF-IDF及其算法

				
			

			

				

					weixin_34290000的博客
				

				

					07-17
					
					3525
					
				

			

		

		

			
				
概念
 TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用，作为文...

			
		

	





	

		

			

				
					
24_ElasticSearch TF&IDF算法以及向量空间模型

				
			

			

				

					架构师的成长之路的博客
				

				

					03-23
					
					1731
					
				

			

		

		

			
				
24_ElasticSearch TF&IDF算法以及向量空间模型更多干货分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记一、概述boolean model 类似and这种逻辑操作符，先过滤出包含指定t...

			
		

	





	

		

			

				
					
[Elasticsearch] 控制相关度 (四) - 忽略TF/IDF

					
热门推荐

				
			

			

				

					不忘初心，好好沉淀
				

				

					12-26
					
					1万+
					
				

			

		

		

			
				
本章翻译自Elasticsearch官方指南的Controlling
 Relevance一章。




忽略TF/IDF


有时我们不需要TF/IDF。我们想知道的只是一个特定的单词是否出现在了字段中。比如我们正在搜索度假酒店，希望它拥有的卖点越多越好：

WiFi花园(Garden)泳池(Pool)

而关于度假酒店的文档类似下面这样：

{ "descript

			
		

	





	

		

			

				
					
ElasticSearch（Lucene）TF-IDF原理及使用

				
			

			

				

					icool_ali的博客
				

				

					08-14
					
					1142
					
				

			

		

		

			
				

TF-IDF（Term Frequency-Inverse Document Frequency, 词频-逆文件频率）描述：

是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，
用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。
字词的重要性随着它在文件中出现的次数成正比增加，
但同时会随着它在语料库中出现的频率成反比下降。
举例 一个词语在一篇文章中出...

			
		

	





	

		

			

				
					
ElasticSearch系列——相关度评分TF&IDF算法

				
			

			

				

					weixin_42894555的博客
				

				

					07-12
					
					322
					
				

			

		

		

			
				
文章目录算法介绍_score是如何被计算出来的

ElasticSearch系列——主目录

算法介绍

relevance score算法，简单来说，就是计算出，一个索引中的文本，与搜索文本，他们之间的关联匹配程度
Elasticsearch使用的是 term frequency/inverse document frequency算法，简称为TF/IDF算法
Term frequency：
搜索文本中的各个词条在field文本中出现了多少次，出现次数越多，就越相关
搜索请求：hello world

.

			
		

	





	

		

			

				
					
elasticsearch评分

					
最新发布

				
			

			

				

					09-04
				

			

		

		

			
				
在Elasticsearch中进行搜索时，评分是根据相关度来计算的。首先，根据搜索条件过滤出符合条件的文档，这时Elasticsearch会记录true或false来标记文档是否满足搜索要求。然后，根据TF/IDF（词频-逆向文档频率）算法计算每个文档和搜索条件的相关度分数。TF/IDF算法考虑了搜索词的出现频率和在文档集合中的普遍程度，以此来评估文档的相关性。

此外，Elasticsearch还提供了一些其他的评分算法和技术，如boosting和negative boost。使用boosting可以调整词条在相关度分数计算中的比值，从而影响排序结果。而negative boost可以降低某些词条的相关度分数，以实现更加合理的排序。通过合理地使用这些评分算法和技术，可以提高搜索结果的准确性和可用性。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
-  *1* *2* *3* [Elasticsearch相关度评分算法](https://blog.csdn.net/lijingjingchn/article/details/109638620)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
九师兄

			
你的鼓励是我做大写作的动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值