（6）elasticsearch的分词器

最新推荐文章于 2024-05-05 09:41:45 发布
最新推荐文章于 2024-05-05 09:41:45 发布
阅读量1.3k 收藏 1
点赞数 1
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bluede2015/article/details/130438773
版权

1 文档规范化（normalization）

是为了提高召回率。

停用词 、时态转换、大小写、同义词、语气词。

以下的doc1\doc2，经过normalization之后，在搜索的时候是可以匹配到这两个doc。

在这里插入图片描述

我们可以看到，normalization就是把一些词 变成 通用的词。

#normalization
GET _analyze
{
  "text": "Mr. Ma is an excellent teacher",
  "analyzer": "standard"
}
#结果：Mr-》mr。Ma-》ma。等等。

2 字符过滤器（character filter）

分词之前的预处理，过滤无用字符

#character filter
##HTML Strip Character Filter
DELETE my_index
#创建分词器my_analyzer 和 过滤器my_char_filter
#把html标签过滤掉，保留a标签
PUT my_index
{
  "settings": {
    "analysis": {
      "char_filter": {
        "my_char_filter":{
          "type":"html_strip",
          "escaped_tags":["a"]
        }
      },
      "analyzer": {
        "my_analyzer":{
          "tokenizer":"keyword",
          "char_filter":["my_char_filter"]
        }
      }
    }
  }
}
GET my_index/_analyze
{
  "analyzer": "my_analyzer",
  "text": "<p>I&apos;m so <a>happy</a>!</p>"
}
#结果：I'm so <a>happy</a>!

##Mapping Character Filter 
DELETE my_index
#把一些词替换成*
PUT my_index
{
  "settings": {
    "analysis": {
      "char_filter": {
        "my_char_filter":{
          "type":"mapping",
          "mappings":[
            "滚 => *",
            "垃 => *",
            "圾 => *"
            ]
        }
      },
      "analyzer": {
        "my_analyzer":{
          "tokenizer":"keyword",
          "char_filter":["my_char_filter"]
        }
      }
    }
  }
}
GET my_index/_analyze
{
  "analyzer": "my_analyzer",
  "text": "你就是个垃圾！滚"
}
#结果：你就是个**！*

##Pattern Replace Character Filter 
#17611001200
DELETE my_index
#正则替换
PUT my_index
{
  "settings": {
    "analysis": {
      "char_filter": {
        "my_char_filter":{
          "type":"pattern_replace",
          "pattern":"(\\d{3})\\d{4}(\\d{4})",
          "replacement":"$1****$2"
        }
      },
      "analyzer": {
        "my_analyzer":{
          "tokenizer":"keyword",
          "char_filter":["my_char_filter"]
        }
      }
    }
  }
}
GET my_index/_analyze
{
  "analyzer": "my_analyzer",
  "text": "您的手机号是17611001200"
}
#结果：您的手机号是176****1200

3 令牌过滤器（token filter）

停用词、时态转换、大小写转换、同义词转换、语气词处理等。比如：has=>have him=>he apples=>apple the/oh/a=>干掉。

https://www.elastic.co/guide/en/elasticsearch/reference/7.10/analysis-synonym-tokenfilter.html

https://www.elastic.co/guide/en/elasticsearch/reference/7.10/analysis-keyword-marker-tokenfilter.html

（这里需要用到ik分词器）

在elasticsearch-7.10.0\config目录下新建analysis目录，新建synonym.txt，内容为

蒙丢丢 ==> 蒙
大G ==> 大
霸道 ==> 霸
daG ==> 大哥

#token filter
DELETE test_index
#在elasticsearch-7.10.0\config目录下新建analysis目录，新建synonym.txt
#创建了个同义词转换，使用的是文件
PUT /test_index
{
  "settings": {
      "analysis": {
        "filter": {
          "my_synonym": {
            "type": "synonym_graph",
            "synonyms_path": "analysis/synonym.txt"
          }
        },
        "analyzer": {
          "my_analyzer": {
            "tokenizer": "ik_max_word",
            "filter": [ "my_synonym" ]
          }
        }
      }
  }
}
GET test_index/_analyze
{
  "analyzer": "my_analyzer",
  "text": ["蒙丢丢，大G，霸道，daG"]
}
#结果：蒙\大\霸\大哥
GET test_index/_analyze
{
  "analyzer": "ik_max_word",
  "text": ["奔驰G级"]
}
#结果：拆分成了 奔驰、g、级 词项

DELETE test_index
#创建了个同义词转换，没有使用文件
#赵,钱,孙,李 的同义词都是 吴
PUT /test_index
{
  "settings": {
      "analysis": {
        "filter": {
          "my_synonym": {
            "type": "synonym",
            "synonyms": ["赵,钱,孙,李=>吴","周=>王"]
          }
        },
        "analyzer": {
          "my_analyzer": {
            "tokenizer": "standard",
            "filter": [ "my_synonym" ]
          }
        }
      }
  }
}
GET test_index/_analyze
{
  "analyzer": "my_analyzer",
  "text": ["赵,钱,孙,李","周"]
}
#结果：吴、王

#大小写转换
GET test_index/_analyze
{
  "tokenizer": "standard",
  "filter": ["lowercase"], 
  "text": ["AASD ASDA SDASD ASDASD"]
}
#结果：都变成了小写
GET test_index/_analyze
{
  "tokenizer": "standard",
  "filter": ["uppercase"], 
  "text": ["asdasd asd asg dsfg gfhjsdf asfdg g"]
}
#结果：都变成了大写
#复杂点的，使用脚本的：长度小于5的变成大写
GET test_index/_analyze
{
  "tokenizer": "standard",
  "filter": {
    "type": "condition",
    "filter":"uppercase",
    "script": {
      "source": "token.getTerm().length() < 5"
    }
  }, 
  "text": ["asdasd asd asg dsfg gfhjsdf asfdg g"]
}

#停用词
DELETE test_index
#把me\you停用了
PUT /test_index
{
  "settings": {
      "analysis": {
        "analyzer": {
          "my_analyzer": {
            "type": "standard",
            "stopwords":["me","you"]
          }
        }
      }
  }
}
GET test_index/_analyze
{
  "analyzer": "my_analyzer", 
  "text": ["Teacher me and you in the china"]
}
#结果里边没有me\you

4 分词器（tokenizer）

主要是将document切词，切割点。

https://www.elastic.co/guide/en/elasticsearch/reference/7.10/analysis-standard-tokenizer.html

#分词器 tokenizer
#standard以空格进行切词的，对英文支持比较好
GET test_index/_analyze
{
  "analyzer": "standard", 
  "text": ["Teacher me and you in the china"]
}
#结果：各个单词
GET test_index/_analyze
{
  "tokenizer": "ik_max_word",
  "text": ["我爱北京天安门","天安门上太阳升"]
}
#结果：把一些特定的词拆分，比较符合中文的习惯

5 常见分词器：

  • standard analyzer：默认分词器，中文支持的不理想，会逐字拆分。
  • pattern tokenizer：以正则匹配分隔符，把文本拆分成若干词项。
  • simple pattern tokenizer：以正则匹配词项，速度比pattern tokenizer快。
  • whitespace analyzer：以空白符分隔 Tim_cookie

6 自定义分词器：custom analyzer

  • char_filter：内置或自定义字符过滤器 。
  • token filter：内置或自定义token filter 。
  • tokenizer：内置或自定义分词器。
#自定义分词器
DELETE custom_analysis
PUT custom_analysis
{
  "settings": {
    "analysis": {
      "char_filter": {
        "my_char_filter": {
          "type": "mapping",
          "mappings": [
            "& => and",
            "| => or"
          ]
        },
        "html_strip_char_filter":{
          "type":"html_strip",
          "escaped_tags":["a"]
        }
      },
      "filter": {
        "my_stopword": {
          "type": "stop",
          "stopwords": [
            "is",
            "in",
            "the",
            "a",
            "at",
            "for"
          ]
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "pattern",
          "pattern": "[ ,.!?]"
        }
      }, 
      "analyzer": {
        "my_analyzer":{
          "type":"custom",
          "char_filter":["my_char_filter","html_strip_char_filter"],
          "filter":["my_stopword","lowercase"],
          "tokenizer":"my_tokenizer"
        }
      }
    }
  }
}

GET custom_analysis/_analyze
{
  "analyzer": "my_analyzer",
  "text": ["What is ,<a>as.df</a>  ss<div> in ? &</div> | is ! in the a at for "]
}

7 中文分词器：ik分词

自定义词库和热更新可以参考它的github主页介绍。

  1. 安装和部署
    • ik下载地址：https://github.com/medcl/elasticsearch-analysis-ik
    • Github加速器：https://github.com/fhefh2015/Fast-GitHub
    • 创建插件文件夹 cd your-es-root/plugins/ && mkdir ik
    • 将插件解压缩到文件夹 your-es-root/plugins/ik
    • 重新启动es
  2. IK文件描述
    • IKAnalyzer.cfg.xml：IK分词配置文件
  • 主词库：main.dic
    • 英文停用词：stopword.dic，不会建立在倒排索引中
    • 特殊词库：
      • quantifier.dic：特殊词库：计量单位等
      • suffix.dic：特殊词库：行政单位
      • surname.dic：特殊词库：百家姓
      • preposition：特殊词库：语气词
    • 自定义词库：网络词汇、流行词、自造词等
自定义词库过程：
1、在elasticsearch-7.10.0\plugins\ik\config下创建custom目录，创建文件wxd_extra.dic、wxd_extra2.dic
2、文件内容
#wxd_extra.dic
蒙丢丢
#wxd_extra2.dic
渣男
渣女
3、修改配置文件IKAnalyzer.cfg.xml
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">custom\wxd_extra.dic;custom\wxd_extra2.dic</entry>
3、重启es，再次查询
GET custom_analysis/_analyze
{
  "analyzer": "ik_max_word",
  "text": ["蒙丢丢","渣男","渣女"]
}
#添加自定义词库之前结果：蒙、丢、丢、渣、男、渣、女
#添加自定义词库之后结果：蒙丢丢、渣男、渣女
  1. ik提供的两种analyzer:
    1. ik_max_word 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合，适合 Term Query；
    2. ik_smart 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国、国歌”，适合 Phrase 查询。

    8 ik热更新

    1. 远程词库文件
      1. 优点：上手简单
      2. 缺点：
        1. 词库的管理不方便，要操作直接操作磁盘文件，检索页很麻烦
        2. 文件的读写没有专门的优化性能不好
        3. 多一层接口调用和网络传输
    2. ik访问数据库
      1. MySQL驱动版本兼容性
        1. https://dev.mysql.com/doc/connector-j/8.0/en/connector-j-versions.html
        2. https://dev.mysql.com/doc/connector-j/5.1/en/connector-j-versions.html
      2. 驱动下载地址
        1. https://mvnrepository.com/artifact/mysql/mysql-connector-java

8 ik热更新

目前该插件支持热更新 IK 分词，通过上文在 IK 配置文件中提到的如下配置

 	<!--用户可以在这里配置远程扩展字典 -->
	<entry key="remote_ext_dict">location</entry>
 	<!--用户可以在这里配置远程扩展停止词字典-->
	<entry key="remote_ext_stopwords">location</entry>

其中 location 是指一个 url，比如 http://yoursite.com/getCustomDict，该请求只需满足以下两点即可完成分词热更新。

  1. 该 http 请求需要返回两个头部(header)，一个是 Last-Modified，一个是 ETag，这两者都是字符串类型，只要有一个发生变化，该插件就会去抓取新的分词进而更新词库。
  2. 该 http 请求返回的内容格式是一行一个分词，换行符用 \n 即可。

满足上面两点要求就可以实现热更新分词了，不需要重启 ES 实例。

可以将需自动更新的热词放在一个 UTF-8 编码的 .txt 文件里，放在 nginx 或其他简易 http server 下，当 .txt 文件修改时，http server 会在客户端请求该文件时自动返回相应的 Last-Modified 和 ETag。可以另外做一个工具来从业务系统提取相关词汇，并更新这个 .txt 文件。

基于远程词库的热更新

  1. 优点：上手简单
  2. 缺点：
    1. 词库的管理不方便，要操作直接操作磁盘文件，检索页很麻烦
    2. 文件的读写没有专门的优化性能不好
    3. 多一层接口调用和网络传输

需要：一个普通的springboot项目（controller）+ 词库文件

@RestController
@RequestMapping(value = "/api")
public class HomeController {
    @RequestMapping(value = "hotWord")
    public void hotword(HttpServletResponse response, Integer wordlib) throws IOException {
        File file = new File(wordlib == 1 ? "./files/wxd_extend.dic" : "./files/wxd_stopword.dic");
        FileInputStream fis = new FileInputStream(file);
        byte[] buffer = new byte[(int) file.length()];
        response.setContentType("text/plain;charset=utf-8");
        response.setHeader("Last-Modified", String.valueOf(buffer.length));
        response.setHeader("ETag", String.valueOf(buffer.length));
        int offset = 0;
        while (fis.read(buffer, offset, buffer.length - offset) != -1) {

        }
        OutputStream out = response.getOutputStream();
        out.write(buffer);
        out.flush();
        fis.close();
    }
}

在springboot项目的目录下新建files目录，里边分别有两个文件wxd_extend.dic、wxd_stopword.dic，此时都是空的

修改配置文件IKAnalyzer.cfg.xml

<!--用户可以在这里配置远程扩展字典 -->
<entry key="remote_ext_dict">http://localhost:9081/api/hotWord?wordlib=1</entry>
<!--用户可以在这里配置远程扩展停止词字典-->
<entry key="remote_ext_stopwords">http://localhost:9081/api/hotWord?wordlib=2</entry>

在修改了wxd_extend.dic、wxd_stopword.dic之后，es会自动去请求远程字典的地址。

#文件内容都为空的时候
GET custom_analysis/_analyze
{
  "analyzer": "ik_max_word",
  "text": ["张明","太阳"]
}
#结果：张、明、太阳

#wxd_extend.dic中添加张明，es会加载文件内容，之后，再测测试：张、明  变成了 张明
#wxd_stopword.dic中添加太阳，es会加载文件内容，之后，再测测试：太阳 不再显示了

在这里插入图片描述

=非常重要的注意===文件一定要是UTF-8 编码的。

在这里插入图片描述

基于mysql的热更新

  1. MySQL驱动版本兼容性
    1. https://dev.mysql.com/doc/connector-j/8.0/en/connector-j-versions.html
    2. https://dev.mysql.com/doc/connector-j/5.1/en/connector-j-versions.html
  2. 驱动下载地址
    1. https://mvnrepository.com/artifact/mysql/mysql-connector-java

需要：ik的源码+ mysql

1、下载ik的源码，https://github.com/medcl/elasticsearch-analysis-ik/releases

在这里插入图片描述

2、pom中添加mysql连接，在config文件里边创建一个jdbc配置

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.6</version>
        </dependency>

#jdbc-reload.properties
jdbc.url=jdbc:mysql://localhost:3306/es_ik_use?serverTimezone=UTC
jdbc.user=root
jdbc.password=123456
jdbc.reload.sql=select word from ik_extword
jdbc.reload.stopword.sql=select stopword as word from ik_stopword
jdbc.reload.interval=1000

根据org.wltea.analyzer.dic.Dictionary 模仿写出通过jdbc的加载热数据

根据org.wltea.analyzer.dic.Monitor模仿写出jdbc的monitor

3、打包

把target/releases下的zip包，复制到elasticsearch-7.10.0\plugins下，解压，重新命名为ik。

再次检查jdbc-reload.properties的内容是否正确。

之后，把mysql的jar包放到ik文件里边。

在这里插入图片描述

4、启动es，测试

大仙andrew
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ik分词器tar包 7.10.2
03-03
ik分词器tar包 7.10.2
elasticsearch7.17.11版本分词器插件安装包
11-13
适用于elasticsearch7.17.11版本的分词器插件安装包
ES:修改分词器以及定制自己的分词器
标题
11-02 9165
1、默认的分词器 standard standard tokenizer：以单词边界进行切分 standard token filter：什么都不做 lowercase token filter：将所有字母转换为小写 stop token filer（默认被禁用）：移除停用词，比如a the it等等 2、修改分词器的设置 PUT /my_index { "settings": { "...
修改ES默认分词设置
热门推荐
张胜楠的博客
04-16 2万+
        ES的默认分词设置是standard，这个在中文分词时就比较尴尬了，会单字拆分，比如我搜索关键词“清华大学”，这时候会按“清”，“华”，“大”，“学”去分词，然后搜出来的都是些“清清的河水”，“中华儿女”，“地大物博”，“学而不思则罔”之类的莫名其妙的结果，这里我们就想把这个分词方式修改一下，于是呢，就想到了ik分词器，有两种ik_smart和ik_max_word。       ...
ElasticSearch 实战：分词器
qq_33240556的博客
04-03 344
Elasticsearch 中的分词器（Tokenizer）是文本分析过程中至关重要的组件，负责将输入的文本字符串分解成词汇单元（tokens）。通过熟练运用和配置分词器，可以确保Elasticsearch索引中的文本数据被正确解析和索引，从而提升搜索和查询的准确性。仅根据非字母字符（如空格、标点等）进行拆分，不做其他处理，适合处理简单、已标准化的文本。设置创建自定义分词器，可以组合使用内置分词器并添加过滤器进行更精细的控制。支持多种语言的Unicode文本分词，适用于国际化的多语言场景。
Elasticsearch中安装IK分词器
01-07
在Elasticsearch中默认的分词器对中文的支持不好，会分隔成一个一个的汉字。而IK分词器对中文的支持比较好一些，主要有两种模式“ik_smart”和“ik_max_word”。 Elasticsearch中文拆分测试： curl -H Content-Type:application/json -XGET 'http://192.168.20.131:9200/_analyze?pretty' -d '{text:在潭州教育学习}' #测试结果 { tokens : [ { token : 在, start_offset
ES-分词器
weixin_39682289的博客
11-17 9425
分词器是es中的一个组件，通俗意义上理解，就是将一段文本按照一定的逻辑，分析成多个词语，同时对这些词语进行常规化的一种工具；ES会将text格式的字段按照分词器进行分词，并编排成倒排索引，正是因为如此，es的查询才如此之快。一个analyzer即分析器，无论是内置的还是自定义的，只是一个包含character filters（字符过滤器）、 tokenizers（分词器）、token filters（令牌过滤器）三个细分模块的包。character filters（字符过滤器）
elasticsearch 添加或修改分词器
nddjava的专栏
04-27 9381
1 索引的分析 索引分析: 就是把输入的文本块按照一定的策略进行分解, 并建立倒排索引的过程. 在Lucene的架构中, 这个过程由分析器(analyzer)完成. 1.1 分析器的组成 ① 字符过滤器(character filter): 比如去除HTML标签、把&替换为and等. ② 分词器(tokenizer): 按照某种规律, 如根据空格、逗号等, 将文本块进行分解. ③ 标记过滤器(token filter): 所有被分词器分解的词都将经过token filters的处理, 它可
ElasticSearch更换分词器
lucy200723的博客
06-11 734
更换分词器
Elasticsearch连续剧之分词器
狮子也疯狂的博客
01-16 1万+
ES文档的数据拆分成一个个有完整含义的关键词，并将关键词与文档对应，这样就可以通过关键词查询文档。要想正确地分词，需要选择合适的分词器。现在咱们来探索一下分词器的真实面目!前面两种分词器，各有优点，但是他们的功能确实不够完备，比如使用ik分词器可以对中文进行分词，但是却不能对拼音分词；所以在现实开发中，我们一般使用自定义分词器进行分词，这样既可以对文字分词，也可以对拼音分词，现在咱们来研究一下如何写一个ik+pinyin分词器。
3.ElasticSearch分词器，包括默认分词器、英文分词器、中文分词器
名猿陈大浏的博客
08-28 7020
导图（用于总结和复习） ​ ​ 注：使用 GET /test/_analyze 可以使用分词器查看分词结果，例： 以上用例是使用 analyzer 指定英文分词器查看分词结果，如果field是索引里的字段，会使用字段指定的分词器进行分词。 接下来进入测试。 默认分词器 默认使用standar分词器 在不标明的时候都是使用默认的standar分词 在建索引的时候，使用 analyzer 指定字段分词器 测试数据： #1.删除 /test下的测试数据 DELETE /test/
ElasticSearch入门：ES分词器与自定义分词器
qq_37426635的博客
05-12 1万+
ES入门：ES分词器与查询相关分词器的简单介绍不同分词器的效果对比自定义分词器的应用 分词器的简单介绍 分词器是es中的一个组件，通俗意义上理解，就是将一段文本按照一定的逻辑，分析成多个词语，同时对这些词语进行常规化的一种工具；ES会将text格式的字段按照分词器进行分词，并编排成倒排索引，正是因为如此，es的查询才如此之快； es本身就内置有多种分词器，他们的特性与作用梳理如下： 分词器 作用 Standard ES默认分词器，按单词分类并进行小写处理 Simple 按照非字母切分，然
Elasticsearch_分词器、搜索文档以及原生JAVA操作
weixin_49076273的博客
02-21 2474
需要对一段内容既进行文字分词，又进行拼音分词，此时需要自定义ik+pinyin分词器。在创建索引时设置自定义分词器//自定义分词器名 "tokenizer" : "ik_max_word" , //基本分词器 "filter" : "pinyin_filter" //配置过滤分词器 } } , "filter" : {
elasticsearch-7.0.0 版本 ik 中文分词器
08-20
elasticsearch-7.0.0版本 ik中文分词器，编译好的文件，亲测成功，2.4.6版本的见在本人其他资源中寻找，免费下载，成功请给好评。
elasticsearch-7.17.6及对应版本IK分词
02-19
elasticsearch-7.17.6及对应版本IK分词 适合人群：elasticsearch初学者 Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。Logstash 和 Beats 有助于收集、聚合和丰富您的数据并将其存储在 Elastic...
elasticsearch7.8.0版本的IK分词器
12-30
elasticsearch7.8.0版本的IK分词器
Elasticsearch：如何使用 Java 对索引进行 ES|QL 的查询
最新发布
Elastic 中国社区官方博客
05-05 1144
​在我之前的文章 “Elasticsearch：对 Java 对象的 ES|QL 查询”，我详细介绍了如何使用 Java 来对 ES|QL 进行查询。对于不是很熟悉 Elasticsearch 的开发者来说，那篇文章里的例子还是不能单独来进行运行。在今天的这篇文章中，我来详细地介绍如何把那个例子跑起来。更多关于 ES|QL 的动手实践，请阅读文章 “Elasticsearch：ES|QL 查询展示”。
ES数据存储与查询基本原理
Steve Wang's blog
05-02 1147
ES简介、ES核心概念、ES读写原理
【翻译】Elasticsearch-索引模块
qq_49444793的博客
04-30 1053
索引块限制对指定的索引的可用的操作类型（就是指对该索引能进行什么操作）。这些块有不同的风格，可以阻止写、读或元数据操作。块可以通过动态索引设置来设置/移除，也可以通过专用API添加，这也可以确保写入块一旦成功返回用户，所有索引分片都能正确地计算该块，例如，在添加写块后，所有对索引进行中的写入会完成。
elasticsearch分词器
07-28
Elasticsearch是一个开源的分布式搜索和分析引擎，它提供了强大的全文搜索和分析功能。在Elasticsearch中，分词器是用于将文本字段拆分成有意义的单词（或词组）的组件。 Elasticsearch提供了多种内置的分词器，也支持自定义分词器。以下是常用的一些内置分词器： 1. Standard Analyzer：这是默认的分词器，使用标准的语法规则来拆分单词，包括去除停用词、小写化等操作。 2. Simple Analyzer：这个分词器将文本按照非字母字符进行简单拆分，不考虑大小写转换和停用词。 3. Whitespace Analyzer：这个分词器将文本按照空格进行拆分，不考虑大小写转换和停用词。 4. Keyword Analyzer：这个分词器将整个文本视为一个单词，不进行任何拆分。 5. Language-specific Analyzers：Elasticsearch还提供了针对特定语言的分词器，如English Analyzer、Chinese Analyzer等，根据不同语言的特点进行了优化。 除了以上内置的分词器，Elasticsearch还支持自定义分词器，您可以根据自己的需求定义自己的分词逻辑。自定义分词器可以使用各种过滤器、字符映射等来实现更复杂的分词操作。 希望这些信息对您有所帮助！如果您有更多关于Elasticsearch分词器的问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值