elasticsearch synonym filter 使用思考

最新推荐文章于 2023-12-19 10:01:23 发布
最新推荐文章于 2023-12-19 10:01:23 发布
阅读量881 收藏 2
点赞数 1
分类专栏： elasticsearch synonym 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/goodluck_mh/article/details/115016615
版权

ES synonym filter

为了进行扩为了进行扩召回，一种有效的方式是添加同义词，加入同义词后扩大了搜索范围同时也带来了两个问题：

  1. term query 原词需要比同义词有更高的评分

    # 发现结果中 原词和同义词 具有同样的权值
GET learning_test_03/_search
{
  "_source": "post_title", 
  "explain": true, 
  "query": {
    "term": {
      "post_title.jieba_dic_all_synonym": {
        "value": "视图"
      }
    }
  }
}

  2. match_phase 也有这个问题，同义词低于原词的评分

GET learning_test_03/_search
{
  "_source": "post_title",
  "explain": true, 
  "query": {
      "match_phrase": {
          "post_title.jieba_dic_all_synonym": "插入流程图"
      }
  }
}

# result：
#  "description" : """weight(post_title.jieba_dic_all_synonym:"插入 (流程图 visio 略图 视图)" in 20533) [PerFieldSimilarity], result of:"""
# 可以看出，流程图 和他的同义词： visio 略图 视图 ，身份都是一样的。但是在查询中，往往应该原词高于 扩充的同义词.

synonym 对评分的干扰

带有 synonym filter 的 analyzer 的使用：

官方文档提供了 synonym filter 并举例了 ，索引数据时的应用示例， 但是经过调研分析，得出了 带有 synonym 的 analyzer 适用于 search 而不是 index。

  1. synonym 增加了field 的 term 数量(导致评分参数 avgdl 变大)， 还有重要的是 如果使用 match query 的话，会导致 匹配的 termFreq 增加到 synonym 的数量，影响评分。
  2. 如果 同义词变化的话，需要同步更新所有的关系到同义词的文档。
  3. 对于匹配原词 和 他的同义词，往往原词的 评分应该更高。但是 ES 中却一视同仁。没有区别。虽然可以通过定义不同的 field ，一个 field 使用 完全切分，一个field 使用同义词，并且在search时，给 全完且分词field 一个较高的权重。但是又带来了怎加了term 存储的容量扩大问题。

使用 demo 说明：

同义词文件内容：
工作,简历,招聘,入职
学校,老师,学生,操场
医院,护士,医生

PUT /test_synonym_1
{
  "settings": {
    "index": {
      "analysis": {
        "analyzer": {
          "jieba_synonym": {
            "tokenizer": "jieba_search",
            "filter": [
              "synonym"
            ]
          }
        },
        "filter": {
          "synonym": {
            "type": "synonym",
            "synonyms_path": "synonyms/synonyms.txt"
          }
        }
      }
    }
  }
}

PUT test_synonym_1/_mapping
{
  "properties": {
    "title": {
      "type": "text",
      "analyzer" :"jieba_synonym"
    },
    "content" :{
      "type" :"text",
      "analyzer" :"jieba_search" 
    }
  }
}

POST test_synonym_1/_doc/1
{
  "title" :"插入流程图时怎么编辑工作",
  "content":"插入流程图时怎么编辑工作"
}

POST test_synonym_1/_doc/2
{
  "title" :"怎么自定义功能区的学校",
  "content":"怎么自定义功能区的学校"
}
POST test_synonym_1/_doc/3
{
  "title" :"如何在表格中加医院",
  "content":"如何在表格中加医院"
}
POST test_synonym_1/_doc/4
{
  "title" :"首页怎么关闭?",
  "content":"首页怎么关闭?"
}
POST test_synonym_1/_doc/5
{
  "title" :"修改的关系图怎么做成一整个图",
  "content":"修改的关系图怎么做成一整个图"
}
POST test_synonym_1/_doc/6
{
  "title" :"在哪里给文档命名",
  "content":"在哪里给文档命名"
}

GET test_synonym_1/_search
{
  "explain": true,
  "query": {
    "match": {
      "title": {
        "query": "表格学生",
        "analyzer": "jieba_synonym"
      }
    }
  }
}

# result
{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 2.7425265,
    "hits" : [
      {
        "_shard" : "[test_synonym_1][0]",
        "_node" : "EyNKn90XS1Otize_1yE7-w",
        "_index" : "test_synonym_1",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 2.7425265,
        "_source" : {
          "title" : "怎么自定义功能区的学校",
          "content" : "怎么自定义功能区的学校"
        },
        "_explanation" : {
          "value" : 2.7425265,
          "description" : "sum of:",
          "details" : [
            {
              "value" : 2.7425265,
              "description" : "weight(Synonym(title:学校 title:学生 title:操场 title:老师) in 0) [PerFieldSimilarity], result of:",
              "details" : [
                {
                  "value" : 2.7425265,
                  "description" : "score(freq=4.0), product of:",
                  "details" : [
                    {
                      "value" : 2.2,
                      "description" : "boost",
                      "details" : [ ]
                    },
                    {
                      "value" : 1.5404451,
                      "description" : "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                      "details" : [
                        {
                          "value" : 1,
                          "description" : "n, number of documents containing term",
                          "details" : [ ]
                        },
                        {
                          "value" : 6,
                          "description" : "N, total number of documents with field",
                          "details" : [ ]
                        }
                      ]
                    },
                    {
                      "value" : 0.80924857,
                      "description" : "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                      "details" : [
                        {
                          "value" : 4.0,
                          "description" : "termFreq=4.0",
                          "details" : [ ]
                        },
                        {
                          "value" : 1.2,
                          "description" : "k1, term saturation parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 0.75,
                          "description" : "b, length normalization parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 5.0,
                          "description" : "dl, length of field",
                          "details" : [ ]
                        },
                        {
                          "value" : 7.0,
                          "description" : "avgdl, average length of field",
                          "details" : [ ]
                        }
                      ]
                    }
                  ]
                }
              ]
            }
          ]
        }
      },
      {
        "_shard" : "[test_synonym_1][0]",
        "_node" : "EyNKn90XS1Otize_1yE7-w",
        "_index" : "test_synonym_1",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 1.7443275,
        "_source" : {
          "title" : "如何在表格中加医院",
          "content" : "如何在表格中加医院"
        },
        "_explanation" : {
          "value" : 1.7443275,
          "description" : "sum of:",
          "details" : [
            {
              "value" : 1.7443275,
              "description" : "weight(title:表格 in 0) [PerFieldSimilarity], result of:",
              "details" : [
                {
                  "value" : 1.7443275,
                  "description" : "score(freq=1.0), product of:",
                  "details" : [
                    {
                      "value" : 2.2,
                      "description" : "boost",
                      "details" : [ ]
                    },
                    {
                      "value" : 1.5404451,
                      "description" : "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                      "details" : [
                        {
                          "value" : 1,
                          "description" : "n, number of documents containing term",
                          "details" : [ ]
                        },
                        {
                          "value" : 6,
                          "description" : "N, total number of documents with field",
                          "details" : [ ]
                        }
                      ]
                    },
                    {
                      "value" : 0.5147059,
                      "description" : "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                      "details" : [
                        {
                          "value" : 1.0,
                          "description" : "freq, occurrences of term within document",
                          "details" : [ ]
                        },
                        {
                          "value" : 1.2,
                          "description" : "k1, term saturation parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 0.75,
                          "description" : "b, length normalization parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 5.0,
                          "description" : "dl, length of field",
                          "details" : [ ]
                        },
                        {
                          "value" : 7.0,
                          "description" : "avgdl, average length of field",
                          "details" : [ ]
                        }
                      ]
                    }
                  ]
                }
              ]
            }
          ]
        }
      }
    ]
  }
}


# 可以看到 第一个得分较高，并且 termFreq=4.0 恰好是 同义词的数量。这是因为在搜索的时候也使用了 synonym ，对原有的query 进行了扩充。
# 使用 term 是没有这个问题的，因为 term query 不会对 搜索词 进行 analyzer的加工处理。但是没有办法保证精确匹配的原词有更高的 score，而不是匹配上的其他同义词有更高 score， 比如 query：学校 ，结果是  （一个学生， 一个拥有大量面积的学校） ，而不是精准匹配的在前面。

上述问题的解决思考：

不要使用 带 synonym 的analyzer 进行 index 操作，使用他们进行 query 操作。

# analyzer 在数据索引的事后起作用
# search_analyzer 在请求的时候起作用，如果没有默认是 analyzer 
PUT test_synonym_1/_mapping
{
  "properties": {
    "title": {
      "type": "text",
      "analyzer": "jieba_search",
      "search_analyzer": "jieba_synonym"
    },
    "content" :{
      "type" :"text",
      "analyzer" :"jieba_search" 
    }
  }
}

#更加灵活的处理是 在 match query 是指定相应的 analyzer 
GET test_synonym_1/_search
{
  "explain": true,
  "query": {
    "match": {
      "title": {
        "query": "表格学生",
        "analyzer": "jieba_synonym"
      }
    }
  }
}

最后 ，如果 synonym filter本身支持远程词库的作用的话，那么更新了远程词库，搜索的时候就会主动生效。

# 使用远程词库的 synonym filter， 拼接起来的 analyzer 去 search
PUT /test_synonym_1
{
  "settings": {
    "index": {
      "analysis": {
        "analyzer": {
          "jieba_synonym": {
            "tokenizer": "jieba_search",
            "filter": [
              "remote_synonym"
            ]
          }
        },
        "filter": {
          "remote_synonym": {
            "type": "dynamic_synonym",
            "synonyms_path": "http://locahost:8080/synonym.txt",
            "interval": "60"
          }
        }
      }
    }
  }
}

PUT test_synonym_1/_mapping
{
  "properties": {
    "title": {
      "type": "text",
      "analyzer": "jieba_search",
      "search_analyzer": "jieba_synonym"
    },
    "content" :{
      "type" :"text",
      "analyzer" :"jieba_search" 
    }
  }
}
木号
关注
专栏目录
【Elasticsearch】不常用 length filer、ngram filter、trim filter、truncate filter、unique filter、synonym token
九师兄
07-21 584
1.概述 转载：总结一些ES不常用的filter ES内置的token filter很多，大部分实际工作中都用不到。这段时间准备ES认证工程师的考试，备考的时候需要熟悉这些不常用的filter。ES官方对一些filter只是一笔带过，我就想着把备考的笔记整理成博客备忘，也希望能帮助到有这方面需求的人。 2.length filer 官方解释： A token filter of type length that removes words that are too long or too short fo
Elastic认证特训营 难点解读03——Analysis 中的同义词filter（synonym）如何解读？
铭毅天下Elasticsearch
08-07 1938
1、应用场景 自定义分词，有同义词的业务场景。 用户期望搜索相同的同义词组（二个或者多个），评分结果一致。 2、最核心部分： 2.1 举例1： "synonyms" : ["foo, bar => baz"] 含义是： foo 和 bar的同义词都是 baz. 等价于：foo 与 baz一致 bar与 baz一致。 2.2 举例2： "synonyms": [ "oa, oA, Oa, OA, 0A, dingding" ] 含义： oa, oA, Oa, OA, 0A.
elasticsearch使用问题记录(一) 底层修改同义词典synonyms.txt未生效
Misaki_root的博客
09-06 2106
众所周知，es自带有同义词典功能，只需要在创建mappings的时候，指定同义词分词器地址，即可让底层同义词生效使用，简单快捷。下面说一说简单快捷背后隐藏的问题 一、创建同义词分词器 以下为创建一个简单的es索引，字段名是text，分别使用到了停用词典和同义词典，底层使用ik分词 PUT news { "mappings": { "news": { "properties": { "text": { "type": "text",
Elasticsearch：词干、Shingles 和同义词过滤器
Elastic 中国社区官方博客
05-03 1408
分词器生成的分词可能需要进一步丰富或增强，例如小写（或大写）标记、提供同义词、开发词干词、删除撇号或标点符号等。分词过滤器对分词进行处理以执行此类转换。Elasticsearch 提供了将近 50 个分词过滤器，正如你可以想象的那样，在这里讨论所有这些过滤器是不可行的。我已经设法抓住了一些，但请随时参考官方文档以了解其余的分词过滤器。过滤器接受一个分词过滤器数组；例如，我们在此示例中提供了 uppercase 和 reverse 过滤器）。
Elasticsearch：使用同义词 synonyms 来提高搜索效率
Elastic 中国社区官方博客
08-14 7956
在我们的很多情况下，我们希望在搜索时，有时能够使用一个词的同义词来进行搜索，这样我们能搜索出来更多相关的内容。我们可以通过 text analysis 来帮助我们形成同义词。如果大家对 Elastic 的 analyzer 还不是很熟的话，请参阅我之前的文章 “Elasticsearch: analyzer”。文本分析通常应用于你建立索引时的所有文档以及发送给 Elasticsearch 的所有查询。在进行同义词搜索时，我们有如下的几种方案： 在建立索引时 (indexing)，通过 analyzer 建
2014-2-13_ lucene (42)源代码解析之SynonymFilter的应用及实现原理
weixin_34220623的博客
02-21 117
一、SynonymFilter的使用Lucene42的SynonmFilter使用方法是很简单的；看下面这个demo就可以明白了。package com.xh.lucene; import java.util.Map; import java.util.HashMap; import java.io.StringReader; import java.io.IOException; importo...
elasticsearch-构建同义词、近义词查询
无
07-24 6925
1.创建同义词库 elasticsearch-6.3.1\config\下创建文件夹analysis 在文件夹analysis下创建synonyms.txt文件 其中synonyms用于存放同义词库，如： 西红柿,番茄,土豆,马铃薯 社保,公积金 （注意逗号是英文的逗号） 2.创建索引 索引创建流程：setting--> mapping-->put 在kibana6.3...
elasticsearch-analysis-dynamic-synonym-7.6.2
08-17
`elasticsearch-analysis-dynamic-synonym-7.6.2`是一个专为ES7.6.2版本设计的动态同义词插件，旨在实现同义词的动态加载和管理，使得同义词库可以随着业务需求的变化而实时更新。 **一、动态同义词插件的作用** 1...
elasticsearch-analysis-dynamic-synonym7.8.1
10-10
**Elasticsearch 同义词插件详解** 在搜索引擎领域，Elasticsearch 是一款非常流行的开源全文搜索...总之，"elasticsearch-analysis-dynamic-synonym7.8.1"插件是优化Elasticsearch搜索性能，提升用户体验的重要工具。
ES elasticsearch-analysis-dynamic-synonym连接数据库动态更新synonym近义词
qq_41978323的博客
12-19 1384
修改源码实现连接数据库获取近义词汇下载elasticsearch-analysis-dynamic-synonym打开项目（https://github.com/bells/elasticsearch-analysis-dynamic-synonym/tree/master）
elasticsearch-analysis-dynamic-synonym-7.0.0源码下载
最新发布
06-14
《Elasticsearch分析插件dynamic-synonym-7.0.0源码解析》 Elasticsearch是一款强大的全文搜索引擎，其强大的搜索功能离不开各种插件的支持。在这些插件中，`elasticsearch-analysis-dynamic-synonym-7.0.0`是一个...
Elasticsearch同义词最佳实践
Angus
11-18 1454
毫无疑问，使用同义词是搜索工程师工具箱中最重要的技巧之一。尽管新手有时会低估同义词的重要性，但几乎所有搜索系统都离不开它。与此同时，人们有时仍会低估与使用同义词相关的一些复杂情况和微妙情形，甚至高级用户也不例外。 用好同义词库，在搜索的过程中，在提升召回率上，有着奇迹般的力量。 最近正在做同义词库的工作，在提升召回效果方面，确实有很大的贡献。本篇文章中，将会详细讲解如何使用，其中的坑，以及各种玩法的最佳实践。本篇博文还会回答一些有关同义词使用方法的常见问题
elasticsearch插件安装（二）之dynamic-synonym插件
weixin_46294086的博客
06-18 2467
想要使用elasticsearch插件安装？本文将带你从0到1快速掌握插件安装的流程和开发技能
在 Elasticsearch 中更新同义词：同义词 synonyms API 简介
Elastic 中国社区官方博客
09-20 1059
同义词集是要应用的一组同义词。你可以根据需要添加任意数量的同义词集。每个同义词集使用同义词规则定义同义词。每个规则使用Solr 格式定义一组同义词单词以及它们之间的显式等价项。创建同义词集是使用创建或更新同义词集 API},一个带有标识符 “pc” 的同义词规则，将单词 “pc” 扩展为 “personal computer”，但反之则不然一条带有标识符 “computer” 的同义词规则，指定 “computer” 和 “laptop” 是等效的。
使用 Elasticsearch ik分词实现同义词搜索
热门推荐
月色无痕的专栏
02-18 1万+
1、首先需要安装好Elasticsearch 和elasticsearch-analysis-ik分词器 2、配置ik同义词 Elasticsearch 自带一个名为 synonym 的同义词 filter。为了能让 IK 和 synonym 同时工作，我们需要定义新的 analyzer，用 IK 做 tokenizer，synonym 做 filter。听上去很复杂，实际上要做的只是
ElasticSearch IK配置同义词
CodingAnHour
11-04 1650
Elasticsearch 自带一个名为 synonym 的同义词 filter。为了能让 IK 和 synonym 同时工作，我们需要定义新的 analyzer，用 IK 做 tokenizer，synonym 做 filter。听上去很复杂，实际上要做的只是加一段配置。 在ElasticSearch/config配置文件下创建 /analysis/synonym.txt 文件 此文件需要受权 synonym.txt 文件，输入一些同义词并存为 utf-8 格式 同义词格式 示例1 中国,中
Elasticsearch：如何在 Elasticsearch 中正确使用同义词功能
Elastic 中国社区官方博客
01-12 1678
同义词用于提高搜索质量并扩大匹配范围。例如，搜索 England 的用户可能希望找到包含 British 或 UK 的文档，尽管这三个词完全不同。Elasticsearch 中的同义词功能非常强大，如果实施得当，可以使你的搜索引擎更加健壮和强大。在本文中，我们将通过简单的代码片段介绍在实践中实现同义词功能的要点。特别是，我们将介绍如何更新现有索引的同义词，这是一个相对高级的话题。在今天的展示中，我将使用最新的 Elastic Stack 8.6.0，尽管版本不对我们的展示有任何的影响。
elasticsearch5.1+IK分词器+Java实现近义词功能
03-03 7129
说明 es版本：5.1.1 ik版本：5.1.2 开发：Java，TransportClient http://blog.csdn.net/tianzhaixing2013/article/details/51506496 这篇文章是es2.x版本+IK的近义词配置教程，es5.1的话一些地方还不一样。我从这篇文章中学到了不少，在此谢谢作者。 然后自己在此基础上改了改试了试，终于实现了近义词的功
在elasticsearch 中更好的处理同义词
goodluck_mh的博客
06-22 1380
需求 使用 ES 进行作为搜索引擎时一般会出现这样的场景，有一个同义词表，当查询时，也能命中到同义词。举例来说，画图,绘图 是一对同义词，当用户搜索 画图 时， 我们往往希望包含绘图 的doc 也在召回结果中。 实现1，query time 思路是在query 时，扩大搜索范围，比如说搜索 绘图 ，首先查询同义词库，然后在搜索的时候，添加同义词搜索： # 原搜索词 给一个较高的权重，其他同义词给一个较低的权重 GET test_synonym_3/_search { "query": { "
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值