elasticsearch-自动补全

最新推荐文章于 2024-08-14 06:49:44 发布

Fairy要carry

最新推荐文章于 2024-08-14 06:49:44 发布

阅读量1.2k

点赞数 3

分类专栏： elasticsearch 文章标签： elasticsearch 搜索引擎大数据

本文链接：https://blog.csdn.net/weixin_57128596/article/details/124954814

版权

elasticsearch 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

自定义拼音分词器，根据拼音得到字段搜索文档数据

Demo（基于拼音实现搜索）

completion suggester查询实现字段补全

案例：酒店数据自动补充

RestClient实现补全

自定义拼音分词器，根据拼音得到字段搜索文档数据

拼音分词器不会分词，而且也没有补充汉字，需要自定义分词器

我们的分词器要有两种：1.分词器analyzer；2.搜索的一个分词器，专门用于搜索的：search_analyzer（一般用中文ik）

分词器分为三部分：

指定分词配置

网站：/github.com/medcl/elasticsearch-analysis-pinyin

在创建索引库时，通过settings配置自定义分词器myanalyzer

包括tokenizer与filter——>对分好的词做进一步处理

// 自定义拼音分词器
PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": { 
        "my_analyzer": { 
          "tokenizer": "ik_max_word",
          "filter": "py" //这里交给拼音过滤器的话，会失去中文
        }
      },
      "filter": {
        "py": { //我们指定拼音过滤器的配置
          "type": "pinyin",
          "keep_full_pinyin": false,
          "keep_joined_full_pinyin": true,//全拼
          "keep_original": true,//要不要保留中文
          "limit_first_letter_length": 16,
          "remove_duplicated_term": true,
          "none_chinese_pinyin_tokenize": false
        }
      }
    }
  }
}

拼音分词出现的问题（倒排索引）：

当我们搜索出现同音词时，会出现不同词的访问

比如：你狮子和虱子进行分词->拼音+中文，而你进行搜索时，狮子分词出现拼音shizi，而你之前狮子与虱子的分词拼音都一样，所以就放在一起去了，id都在同一个词条上，所以一搜狮子就会出现虱子；

所以我们要分开使用，字段在创建倒排索引时使用my_analyzer分词器；字段在搜索时使用ik_smart分词器

搜索的时候如果你用了含有py的分词器，那么你搜的内容就会分词成英文，就会对着英文进行搜索，那么就会多一些不相关的内容；

自定义分词器用于字段创建时：包括ik+py

搜索时：用ik

Demo（基于拼音实现搜索）

对mappings中约束的字段使用分词器

#自定义拼音分词器my_analyzer
PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": { 
        "my_analyzer": { 
          "tokenizer": "ik_max_word",
          "filter": "py"
        }
      },
      "filter": {
        "py": { 
          "type": "pinyin",
          "keep_full_pinyin": false,
          "keep_joined_full_pinyin": true,
          "keep_original": true,
          "limit_first_letter_length": 16,
          "remove_duplicated_term": true,
          "none_chinese_pinyin_tokenize": false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "my_analyzer"
        , "search_analyzer": "ik_smart"
      }
    }
  }
}

然后我们进行测试，查看字段分词的结果（_analyze是用于分词测试的）：

然后我们插入文档数据，进行查询

根据前面的约束可以知道，插入的文档数据name被进行分词（英文和中文都有），所以我们可以通过GET xxxx/_search query进行查询获取数据

注意：这里涉及上述搜索问题，如果搜索采用的是拼音分词器，那么我们query时候会将query的内容进行分词——>分成英文进行查询，而有些不相干的中文的英文是一样的，所以搜索的分词器应该设置为ik——>在创建倒排索引（mappings中约束的字段）时候进行设置

上述只是讲解了拼音分词器——>实现基于拼音对文档数据的搜索，下面是基于首字母的补全功能

completion suggester查询实现字段补全

作用：这种查询会以用户输入内容的开头的词条并返回

suggest相当于query类型，意思：补全查询

title_suggest相当于补全查询的名字

text关键字：意思就是以....开头可以进行自动补全查询

completion是补全查询的一种类型

field是能够补全查询的字段

skip_duplicates：跳过重复的

size：获取的结果数

跟普通查询一样:GET /索引/_search

只是里面加了suggest，然后字段的话，需要type+completion：指明可以补全

demo:

1.先设置文档中参与补全字段信息——>类型一定要是completion

2.然后POST数据即可

3.最后再自动补全查询，利用suggect查询

结果：

可以发现hits是空的，因为我们没有进行query，没有搜文档，而是自动补全查询

options中有自动补全的结果

这个text字段就是我们字段补全后的结果

案例：酒店数据自动补充

两个自定义分词器，一个text_anlyzer，一个是completion_analyzer：

意思就是一个是全文检索就是前面那个，自动补全就是后面那个；

添加新的字段约束suggestion，type=completion说明是支持补全的，分词器用的completion_analyzer说明是不支持分词的，直接字段拼音搜索

settings：定义酒店分词器

suggection里面封装了品牌信息和商圈信息（自动补全的内容）

按照首字母s查询，自动补全类型是completion，字段类型是suggestion

RestClient实现补全

GET /hotel/_search //准备请求
{
  "suggest": {
    "mySuggection": { //补全搜索名字
      "text": "h", // 关键字
      "completion": { //补全类型
        "FIELD": "title", //补全字段
        "skip_duplicates":true,
        "size":10 //获取前十条结果
      }
    }
  }
}

  /**
     * 自动补全查询
     * @param prefix：搜索前缀
     * @return：options中text内容
     */
    @Override
    public List<String> getSuggestions(String prefix) throws IOException {
        SearchRequest request = new SearchRequest("hotel");
        //2.准备DSL
        request.source().suggest(new SuggestBuilder()
                .addSuggestion("suggestions",
                        SuggestBuilders.completionSuggestion("suggection")
                                .prefix(prefix)
                                .skipDuplicates(true)
                                .size(10)));
      
        //3.发送请求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
      
        //4.处理响应
        Suggest suggest = response.getSuggest();
        CompletionSuggestion suggestions = suggest.getSuggestion("suggestions");
        //4.2获取options
        List<CompletionSuggestion.Entry.Option> options = suggestions.getOptions();
        //4.3遍历
        ArrayList<String> result = new ArrayList<>(options.size());
        for (CompletionSuggestion.Entry.Option option : options) {
            String text = option.getText().toString();
            result.add(text);
        }
        return result;
    }