ES 解决字符串的排序问题以及相关度评分TF&IDF算法

最新推荐文章于 2024-06-16 19:01:48 发布
最新推荐文章于 2024-06-16 19:01:48 发布
阅读量1.2k 收藏
点赞数 1
分类专栏： ELK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mn_kw/article/details/82697178
版权

如何将一个field索引俩次来解决字符串的排序问题
如果对一个stringfield进行排序，结果往往不准确，因为分词后是多个单词，再排序就不是我们想要的结果了
通常的解决方案是，将一个string field建立俩次索引，一个分词，用来进行搜索，一个不分词，用来进行排序

相关度评分TF&IDF算法
TF:搜索文本中的各个词条在field文本中出现了多少次，出现次数越多，就越相关
IDF:搜索文本中的各个词条在整个索引的所有文档中出现了多少次，出现的次数越多，就越不相关
Field-length norm：field长度，field长度越长，相关度越弱

mn_kw
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用ES实现一个基数排序
渣渣飞的博客
06-25 283
基数排序（radix sort）属于“分配式排序”（distribution sort），又称“桶子法”（bucket sort）或bin sort，顾名思义，它是透过键值的部份资讯，将要排序的元素分配至某些“桶”中，藉以达到排序的作用，基数排序法是属于稳定性的排序，其时间复杂度为O (nlog®m)，其中r为所采取的基数，而m为堆数，在某些时候，基数排序法的效率高于其它的稳定性排序法。百度百科 ...
lucene相关技术
12-27
9. **Hit**：搜索结果的一个条目，包含文档的相关度评分和文档信息。 10. **Score**：表示一个文档与查询的匹配程度，是Lucene的核心算法TF-IDF（词频-逆文档频率）的产物。 **二、Lucene工作流程** 1. **创建...
ES:字符串排序,字符串按照数字排序
zhuchunyan_aijia的博客
03-11 2172
对一个字符串类型的字段进行排序通常不准确，因为已经被分词成多个词条了字段虽然是字符串,但是其实值是整数, 排序按照字符串转成整数排序解决方式：对字段索引两次，一次索引分词（用于搜索），一次索引不分词（用于排序）
Es 索引查询排序分析
最新发布
weixin_38597669的博客
06-16 1169
本文主要从doc values、fielddata、index sorting等Es特性，分析了Es排序的实现。
搜索相关度算法 TF-IDF与BM25
U5years的博客
12-22 721
TF-IDF VS BM25 在ES5.0版本之前，ES一直用的是TF-IDF来进行相关度算分；在5.0后的版本，ES换成了BM25版本。本文将从算法设计的角度，先介绍两个算法，再结合ES来尝试分析一下各自的优缺点。 算法介绍 TF-IDF和BM25都是用作ES中排序依据的核心部分，它们是组成Lucene中“field weight”的部分，“field weight”用来评测的是search t...
Sequelize 排序问题：将字符串类型字段转数字类型后进行排序
rushichunqiu的博客
08-12 1667
问题出现场景： 目前使用egg框架进行后端业务开发，使用sequlize这个ORM进行数据库的操作；今天，遇到一个需求，要按照一个被数据库定义为VARCHAR的字段code，按照降序进行排列。 // 原始数据 仅展示 code 字段 ['999', '2', '11', '23', '300', '856', '7869', '66', '88', '1234444', '3333'] // 理想结果 res -> ['1234444', '7869', '3333', '999',
字符串，数字，字符转化
nahnah_的博客
03-31 804
stringstream 初见 isalpha 字母 isalnum 数字或者字母 islower isupper 数字转字符串 to_string 字符串转数字stoi
SearchEngine
06-16
4. **评分和排序**：Lucene使用TF-IDF（Term Frequency-Inverse Document Frequency）等算法计算文档的相关性，对搜索结果进行排序。 5. **过滤和高亮**：搜索引擎可以对结果进行过滤，如按时间、地点等条件筛选，...
IKAnalyzer中文分词计算句子相似度
01-22
**IKAnalyzer中文分词** IKAnalyzer是一款开源的、基于Java实现的中文分词工具，它在中文...在处理大量中文文本时，理解并正确使用IKAnalyzer以及相关相似度计算技术，对于提升文本处理系统的效能和准确度至关重要。
PHP搜索引擎.zip
03-18
通过配置和编程，可以定制化搜索功能，如排序规则、相关度计算等。 2. **Elasticsearch**：虽然Elasticsearch主要用Java编写，但也有PHP客户端库如\Elasticsearch\Client，可以方便地集成到PHP项目中，实现高效、可...
Lucene源码解读1
08-03
- 查询评分：使用TF-IDF（Term Frequency-Inverse Document Frequency）算法评估文档与查询的相关性，得分高的文档优先返回。 - 近似搜索：通过编辑距离（Levenshtein Distance）等方法支持拼写纠错和近似匹配。 ...
es建立索引后的排序返回结果_Elasticsearch 索引创建 / 数据检索
weixin_28984379的博客
01-17 430
es 6.0 开始不推荐一个index下多个type的模式，并且会在 7.0 中完全移除。在 6.0 的index下是无法创建多个type的，type带来的字段类型冲突和检索效率下降的问题，导致了type会被移除。(5.x到6.x)_all字段也被舍弃了，使用 copy_to自定义联合字段。(5.x到6.x)type:text/keyword 来决定是否分词，index: true/false决定...
ES 根据字段分割后的数据进行排序
bfy0914的博客
07-25 480
ES根据字段分割后的数据进行排序。
Elasticsearch数据查询排序问题
weixin_43857522的博客
11-16 2289
Elaticsearch 在查询数据会导致数据查询返回顺序不正确 推测原因: 1. es 查询时, 在大数据量下es评分是基于当前分片的词频进行计算, 指定search_type参数设置基于索引的词频进行计算评分. searchtype 类型说明: 1. query then fetch（默认的搜索方式） 基于当前分片 2. DFS query then fetch 基于索引 2. es 查询时, 基于当前查询结果进行重新评分排序 在查询之后调用 rescore , 对查询结果进行重新评分, 此处可
ElasticSearch 搜索排序不理想问题
Mr_Wanter
04-02 2047
ES索引结构如下 ES检索“区块链”，发现根据得分排序后，排在前面的多为“链”的数据 而包含整段词语的结果排序非常靠后。 分析：es一共有7个分片，词语“区块链”在分片的相关性从分片0到分片7依次降低（即分片0存储词语“区块链”相关性最大，分片7相关性最小），如果搜索词语“区块链”需要7个分片的计算； es默认检索得分是按照分片层次计算，不是全局计算的。 解决方案： 1、只搜...
elasticsearch(9)实现字符串排序
祈雨v的博客
10-09 5422
对于text类型字段，ES默认分词且不会建立正排索引。即使设置"fielddata": true建立正排索引后，对该字段的排序依然有问题：ES不会以整个字段文本排序，而是选择分词后的一个字段进行排序。 对于ES5.x可以设置需要排序的字段为keyword类型，该类型默认不分词且"doc_values":true即默认建立正排索引。 对于需要分词的字段，想实现字符串排序可以将该字段建立两次索引，一个...
es自定义排序
weixin_32128491的博客
09-21 4000
## 排序 ### 一、默认排序规则 默认情况下，是按照_score降序排序。 _score使用的算法,计算出一个索引中的文本，与搜索文本，他们之间的关联匹配程度 es使用的是，term frequency和inverse documnet frequency算法，简称为TF/IDF算法 term frequency:搜索文本中的各个词条在field文本中出现了多少次，出现次数越多，分数越高 inverse documnet frequency：搜索文本中的各个词条在整个索引的所有文档中出现了多少次，出
ES排序
weixin_38932035的博客
04-26 7645
排序 为了按照相关性来排序，需要将相关性表示为一个数值。在 Elasticsearch 中， 相关性得分 由一个浮点数进行表示，并在搜索结果中通过 _score 参数返回， 默认排序是 _score 降序。 有时，相关性评分对你来说并没有意义。例如，下面的查询返回所有 user_id 字段包含 1 的结果： GET /_search { "query" : { "bool...
ES搜索排序、相关性、评分机制
软件测试大叔
12-05 4004
默认情况下，ES的搜索结果是排序的，是按 相关性 倒序排列的------相关性最高的排在最前面。 那么什么是相关性，相关性如何计算？ 每个文档都有相关性评分，用一个正浮点数字段_score来表示 。_score的评分越高，相关性越高。 查询语句会为每个文档生成一个_score字段。（评分的计算方式取决于查询类型 不同的查询语句用于不同的目的，这里不详细介绍。） Elasticsearch 的相似度算法被定义为检索词频率/反向文档频率，TF/IDF，包括以下内容： 检索词频率 检索...
TF-IDF 算法的排序
04-25
TF-IDF 算法的排序是指将文本集合中的所有文档按照它们与查询词的匹配程度进行排序，匹配程度越高的文档排名越靠前。排序的依据是文档中每个单词的出现频率（term frequency，TF）和该单词在所有文档中的逆文档频率（inverse document frequency，IDF）之积，即 TF-IDF 值。这种算法基于一个假设：一个单词在文档中的出现频率越高，并且在其他文档中出现频率越低，那么它越重要，能够更好地表示文档的内容，因此在排序中排名越靠前。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值