elasticsearch使用中文分词器和拼音分词器，自定义分词器

最新推荐文章于 2024-09-22 21:14:36 发布
最新推荐文章于 2024-09-22 21:14:36 发布
阅读量5.2k 收藏 20
点赞数 3
分类专栏： ElasticSearch 文章标签： ElasticSearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013041642/article/details/94416631
版权

elasticsearch使用中文分词器和拼音分词器，自定义分词器

1. 到github 下载分词器

上面有已经编译好打好的包。下载后在es安装目录下的plugins/目录下创建ik和pinyin两个文件夹，把下载好的zip包解压在里面。重启es就会生效了。github上readme.txt文件里有使用说明。注意下载的时候下载版本对应的，比如我的es版本是5.6.16，下载分词器的时候也要下载这个版本的。

ik 中文分词器：https://github.com/medcl/elasticsearch-analysis-ik/releases

pinyin 拼音分词器：https://github.com/medcl/elasticsearch-analysis-pinyin/releases

也可以下载源码后，用mvn手动打包，但是特别慢，我打了个拼音包两个多小时，可能和没翻墙也有关系。

2. 使用分词器

解压后重启es就可以使用了。分词器是属于索引的，所以测试分词器的时候，要指定是哪个索引。

ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”，适合 Phrase 查询。

get http://localhost:9200/user_index/_analyze?analyzer=ik_smart&text=张三李四

返回

{
    "tokens": [
        {
            "token": "张三李四",
            "start_offset": 0,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 0
        }
    ]
}

ik_max_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合，适合 Term Query；

get http://localhost:9200/user_index/_analyze?analyzer=ik_max_word&text=张三李四

返回

{
    "tokens": [
        {
            "token": "张三李四",
            "start_offset": 0,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "张三",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "三",
            "start_offset": 1,
            "end_offset": 2,
            "type": "TYPE_CNUM",
            "position": 2
        },
        {
            "token": "李四",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "四",
            "start_offset": 3,
            "end_offset": 4,
            "type": "TYPE_CNUM",
            "position": 4
        }
    ]
}

get http://localhost:9200/user_index/_analyze?analyzer=pinyin&text=张三李四

返回

{
    "tokens": [
        {
            "token": "zhang",
            "start_offset": 0,
            "end_offset": 1,
            "type": "word",
            "position": 0
        },
        {
            "token": "zsls",
            "start_offset": 0,
            "end_offset": 4,
            "type": "word",
            "position": 0
        },
        {
            "token": "san",
            "start_offset": 1,
            "end_offset": 2,
            "type": "word",
            "position": 1
        },
        {
            "token": "li",
            "start_offset": 2,
            "end_offset": 3,
            "type": "word",
            "position": 2
        },
        {
            "token": "si",
            "start_offset": 3,
            "end_offset": 4,
            "type": "word",
            "position": 3
        }
    ]
}

3. 自定义分词器，ik+pinyin组合使用

ik中文分词器，貌似没有可以设置的属性，直接用就行了。

拼音分词器有许多可以设置的选项。可以自行定义。原本的拼音分词器，只能分析出来全拼、首字母全拼、和每个字的完整拼音，不过这个每个字的完整拼音我觉得没什么作用，太细微。我想实现的功能是，可以让中文分词器分词后的字词，再被拼音分词器分词，就可以用下面的方式，tokenizer 使用 中文分词器ik_max_word，最后的标记过滤器，再使用pinyin 分词器过滤一遍就可以了。

{
  "index": {
    "number_of_replicas" : "0",
    "number_of_shards" : "1",
    "analysis": {
      "analyzer": {
        "ik_pinyin_analyzer": {
          "tokenizer": "my_ik_pinyin",
          "filter": "pinyin_first_letter_and_full_pinyin_filter"
        },
        "pinyin_analyzer": {
          "tokenizer": "my_pinyin"
        }
      },
      "tokenizer": {
        "my_ik_pinyin": {
          "type": "ik_max_word"
        },
        "my_pinyin": {
          "type": "pinyin",
          "keep_first_letter": true,
          "keep_separate_first_letter": false,
          "keep_full_pinyin": false,
          "keep_joined_full_pinyin": true,
          "keep_none_chinese": true,
          "none_chinese_pinyin_tokenize": false,
          "keep_none_chinese_in_joined_full_pinyin": true,
          "keep_original": false,
          "limit_first_letter_length": 16,
          "lowercase": true,
          "trim_whitespace": true,
          "remove_duplicated_term": true
        }
      },
      "filter": {
        "pinyin_first_letter_and_full_pinyin_filter": {
          "type": "pinyin",
          "keep_first_letter": true,
          "keep_separate_first_letter": false,
          "keep_full_pinyin": false,
          "keep_joined_full_pinyin": true,
          "keep_none_chinese": true,
          "none_chinese_pinyin_tokenize": false,
          "keep_none_chinese_in_joined_full_pinyin": true,
          "keep_original": false,
          "limit_first_letter_length": 16,
          "lowercase": true,
          "trim_whitespace": true,
          "remove_duplicated_term": true
        }
      }
    }
  }
}

我们测试一下

http://localhost:9200/drug_index/_analyze?analyzer=ik_pinyin_analyzer&text=阿莫西林胶囊

返回的结果就是汉字ik_max_word分词后的结果，再按照拼音分词的规则做了分析。

{
    "tokens": [
        {
            "token": "amoxilin",
            "start_offset": 0,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "amxl",
            "start_offset": 0,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "moxi",
            "start_offset": 1,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "mx",
            "start_offset": 1,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "xilin",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "xl",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "jiaonang",
            "start_offset": 4,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "jn",
            "start_offset": 4,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 3
        }
    ]
}

4. 代码测试

package com.boot.es.model;

import lombok.Data;
import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;
import org.springframework.data.elasticsearch.annotations.InnerField;
import org.springframework.data.elasticsearch.annotations.MultiField;
import org.springframework.data.elasticsearch.annotations.Setting;

/**
 * Author:   susq
 * Date:     2019-06-30 10:12
 */
@Data
@Document(indexName = "drug_index", type = "drug")
@Setting(settingPath = "settings.json")
public class Drug {

    @Id
    private Long id;

    @Field(type = FieldType.Keyword)
    private String price;

    @MultiField(
            mainField = @Field(type = FieldType.Keyword),
            otherFields = {
                    @InnerField(type = FieldType.Text, suffix = "ik", analyzer = "ik_max_word", searchAnalyzer = "ik_max_word"),
                    @InnerField(type = FieldType.Text, suffix = "ik_pinyin", analyzer = "ik_pinyin_analyzer", searchAnalyzer = "ik_pinyin_analyzer"),
                    @InnerField(type = FieldType.Text, suffix = "pinyin", analyzer = "pinyin_analyzer", searchAnalyzer = "pinyin_analyzer")
            }
    )
    private String name;

    @MultiField(
            mainField = @Field(type = FieldType.Keyword),
            otherFields = {
                    @InnerField(type = FieldType.Text, suffix = "ik", analyzer = "ik_max_word", searchAnalyzer = "ik_smart"),
                    @InnerField(type = FieldType.Text, suffix = "ik_pinyin", analyzer = "ik_pinyin_analyzer", searchAnalyzer = "ik_pinyin_analyzer"),
                    @InnerField(type = FieldType.Text, suffix = "pinyin", analyzer = "pinyin_analyzer", searchAnalyzer = "pinyin_analyzer")
            }
    )
    private String effect;
}

@Test
public void drugSaveTest() {
  Drug drug = new Drug();
  drug.setId(1L);
  drug.setName("阿莫西林胶囊");
  drug.setPrice("10");
  drug.setEffect("阿莫西林适用于敏感菌(不产β内酰胺酶菌株)所致的感染");

  Drug drug1 = new Drug();
  drug1.setId(3L);
  drug1.setName("阿莫西林");
  drug1.setPrice("10");
  drug1.setEffect("阿莫西林适用于敏感菌(不产β内酰胺酶菌株)所致的感染");

  Drug drug2 = new Drug();
  drug2.setId(2L);
  drug2.setName("999感冒灵颗粒");
  drug2.setPrice("20");
  drug2.setEffect("本品解热镇痛。用于感冒引起的头痛，发热，鼻塞，流涕，咽痛等");

  drugRepository.saveAll(Lists.newArrayList(drug, drug1, drug2));

  List<Drug> drugs = Lists.newArrayList(drugRepository.findAll());
  log.info("以保存的drugs: {}", drugs);
}

@Test
public void drugSaveTest() {
  Drug drug = new Drug();
  drug.setId(1L);
  drug.setName("阿莫西林胶囊");
  drug.setPrice("10");
  drug.setEffect("阿莫西林适用于敏感菌(不产β内酰胺酶菌株)所致的感染");

  Drug drug1 = new Drug();
  drug1.setId(3L);
  drug1.setName("阿莫西林");
  drug1.setPrice("10");
  drug1.setEffect("阿莫西林适用于敏感菌(不产β内酰胺酶菌株)所致的感染");

  Drug drug2 = new Drug();
  drug2.setId(2L);
  drug2.setName("999感冒灵颗粒");
  drug2.setPrice("20");
  drug2.setEffect("本品解热镇痛。用于感冒引起的头痛，发热，鼻塞，流涕，咽痛等");

  drugRepository.saveAll(Lists.newArrayList(drug, drug1, drug2));

  List<Drug> drugs = Lists.newArrayList(drugRepository.findAll());
  log.info("以保存的drugs: {}", drugs);
}

/**
 * 这个测试中，name（不带后缀的时候是Keyword类型），不分词的时候，如果能匹配到 	* 那就是完全匹配，应该要得分高一点，所以设置是match查询的两倍
 */
@Test
public void drugIkSearchTest() {
  NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
  NativeSearchQuery query = builder.withQuery(QueryBuilders.boolQuery()
                                              .should(QueryBuilders.matchQuery("name", "阿莫西林")).boost(2)
                                              .should(QueryBuilders.matchQuery("name.ik", "阿莫西林")).boost(1))
    .build();
  log.info("DSL:{}", query.getQuery().toString());
  Iterable<Drug> iterable = drugRepository.search(query);
  List<Drug> drugs = Lists.newArrayList(iterable);
  log.info("result: {}", drugs);
}

/**
 * 这个测试中，name.pinyin（只生成整个name的全拼和所有汉字首字母的全拼接），    	* 这个匹配的时候就是完全匹配，得分应该高一点
 */
@Test
public void drugPinyinSearchTest() {
  NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
  NativeSearchQuery query = builder.withQuery(QueryBuilders.boolQuery()
                                              .should(QueryBuilders.matchQuery("name.ik_pinyin", "阿莫西林").boost(1))
                                              .should(QueryBuilders.matchQuery("name.pinyin", "阿莫西林").boost(2))
                                             )
    .withSort(SortBuilders.scoreSort())
    .build();
  log.info("DSL:{}", query.getQuery().toString());
  Iterable<Drug> iterable = drugRepository.search(query);
  List<Drug> drugs = Lists.newArrayList(iterable);
  log.info("result: {}", drugs);
}
【Es】ElasticSearch 自定义分词器
九师兄
10-05 3385
1.分词器 转载：https://blog.csdn.net/gwd1154978352/article/details/83343933 Elasticsearch中，内置了很多分词器（analyzers），例如standard （标准分词器）、english（英文分词）和chinese （中文分词），默认的是standard， standard tokenizer：以单词边界进行切分 standard token filter：什么都不做 lowercase token filter：将所有字母转换为.
elasticsearch-analysis-pinyin-7.4.0 es拼音分词器7.4.0
04-05
为此，Elasticsearch提供了多种分词器，其中elasticsearch-analysis-pinyin-7.4.0就是专门针对中文处理的拼音分词器，它将汉字转换为拼音，以提高中文搜索的准确性和便利性。 这个插件的核心功能在于将中文字符转化...
elasticsearch拼音分词器
09-27
elasticsearch拼音分词器，拼音分词器用法同中文分词器用法一样
elasticsearch自定义分词器--中文分词器与拼音分词器结合
gaoyan601的博客
06-22 1332
之前已经分别单独介绍了中文分词器（IK）和拼音分词器的使用方式，本节重点介绍将中文分词器和拼音分词器结合使用的方式，即针对同一个字段即可用中文分词检索，也可以用拼音检索。 废话不多说，直接上配置 PUT /pinyin-ik-test/ { "index": { "analysis": { "analyzer": { "my_analyzer": { "type": "custom", "tokenizer": "ik..
ElasticSearch分词器
最新发布
Gao__xi的博客
09-22 1214
在知道了分词器的三个组成部分后，我们来自定义一个分词器=>"]],"tokenizer": {"type":"whitespace"}, //可以直接写成 "tokenizer":"whitespace""filter": [{"type":"lowercase"}], //可以直接写成 "filter":["lowercase"]</h1>"===输出结果===},：使用了内置的html_strip字符过滤器和内置的mapping字符过滤器，并配置mapping规则将**!**转换为空。
如何在Elasticsearch中安装中文分词器(IK+pinyin)
xingoo
09-26 434
如何在Elasticsearch中安装中文分词器(IK+pinyin) 如果直接使用Elasticsearch的朋友在处理中文内容的搜索时，肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字，当用Kibana作图的时候，按照term来分组，结果一个汉字被分成了一组。 这是因为使用了Elasticsearch中默认的标准分词器，这个分词器在...
Elasticsearch 拼音分词器
weixin_43315211的博客
08-09 633
安装步骤 下载地址：https://github.com/medcl/elasticsearch-analysis-pinyin/releases/tag/v7.2.0/elasticsearch-analysis-pinyin-7.2.0.zip 创建文件夹并上传解压文件（所有节点） [root@master01 elasticsearch]# ls bin config data jdk...
elasticsearch 拼音分词器 & 自动补全。
lyfGeek的博客
04-11 1101
elasticsearch 拼音分词器 & 自动补全。
Elasticsearch中拼音分词器
09-03
在Elasticsearch（ES）这个强大的全文搜索引擎中，拼音分词器扮演着至关重要的角色。拼音分词器允许我们对中文文本进行处理，将其转换为对应的拼音形式，从而实现基于拼音的搜索。这对于中文用户的搜索体验提升...
elasticsearch-ik中文分词器7.6.2.zip
04-11
**Elasticsearch 7.6.2 中文分词器详解** Elasticsearch 是一个流行的开源全文搜索引擎，它提供了一种高效、灵活的方式来存储、搜索和分析...正确配置和使用IK分词器，对于提升Elasticsearch的中文检索性能至关重要。
elasticsearch-7.14.0+分词器+head插件一键下载
09-04
Elasticsearch 内置了多种分词器，如标准分词器（Standard Analyzer）、关键词分词器（Keyword Analyzer）和中文分词器（Smart Chinese Analyzer）等。这些分词器可以根据不同的语言和应用场景进行定制，以确保搜索...
elasticsearch pinyin 拼音分词器
weixin_30706691的博客
07-07 166
安装pinyin分词 地址：https://github.com/medcl/elasticsearch-analysis-pinyin PUT py_test { "index" : { "analysis" : { "analyzer" : { "pinyin_analyzer" : { ...
elasticsearch自定义分词器---拼音分词器
gaoyan601的博客
06-22 2763
拼音分词器 之前详细介绍了IK中文分词器，本节详细介绍拼音分词。拼音分词是将中文转化为拼音，并提供可配置项共用户自定义拼音检索方式，如拼音首字母、全拼等
Elasticsearch拼音分词器的安装、配置与测试实践
一起coding，一起嗨。
08-14 873
Elasticsearch拼音分词器的安装、配置与测试实践
【Elasticsearch教程20】Pinyin拼音分词器 以及多音字修改
Java Spring Elasticsearch
09-20 3866
人员通讯录，不确定人名具体是哪个汉字，只知道读音，可以输入汉字+全拼音、汉字+拼音首字母、拼音首字母等股票名称，炒股的人都知道，股票太多，记住所有股票code是不可能的，所以常用拼音首字母查股票。Medcl大佬为我们提供了Pinyin分词器，可以让我们非常方便的使用拼音搜索文档。作为大龄程序员，30多岁了，不需要涉及太多技术，得潜心专研一两个技术，并戒掉浮躁，在项目实践中打磨自己。
Elasticsearch配置拼音分词和自定义分词器
xiaobo5264063的博客
11-24 1895
下载elasticsearch-analysis-pinyin拼音分词器 https://codeload.github.com/medcl/elasticsearch-analysis-pinyin/zip/v6.4.3 解压 因为elasticsearch拼音插件和你的elasticsearch版本必须一致，如果不一致，可以修改pom.xml的版本为你的elasticsearc...
ElasticSearch - 基于 拼音分词器 和 IK分词器 模拟实现“百度”搜索框自动补全功能
CYK_byte的博客
09-27 2253
百度、搜狗、淘宝搜索框自动补全如何实现？从 0 到 1 逐层解析实现！
Elasticsearch 7.X 拼音分词器 pinyin 使用
小毕超博客
01-02 7562
一、pinyin 分词器 前面我们讲到了ik分词器的使用，以及部分源码和自定义词库的讲解，本篇文章我们讲解下拼音分词器 pinyin。 上篇文章地址：https://blog.csdn.net/qq_43692950/article/details/122276392 我们在百度或其他搜索引擎搜索时，可以发现尽管我搜索的时拼音但也可以搜到我们想要的文字： 今天我们学习的pinyin分词器就可以实现这一效果。 其中pinyin分词器两种分词规则： pinyin：就是普通的把汉字转换成拼音； pinyi
ElasticSerach7.6.0拼音分词器安装和使用
qq_30665009的博客
12-09 463
第一步：安装ElasticSearch 7.6.0 由于IK和ElasticSerach已经是编译好的，不需要编译，直接在安装解压修改配置文件即可 详情请见另一篇安装博客：https://www.cnblogs.com/haolb123/p/14051580.html 第二步：下载拼音分词器 由于拼音分词器并非编译好的，需要用Maven package 进行打包，maven的下载和使用请百度。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值