ELK下es的分词器analyzer

最新推荐文章于 2024-04-20 15:55:29 发布
最新推荐文章于 2024-04-20 15:55:29 发布
阅读量2.4k 收藏
点赞数
分类专栏： ELK、K8S、虚拟化Docker
原文链接：https://www.cnblogs.com/xiaobaozi-95/p/9328948.html
版权

转载链接 ：es的分词器analyzerhttps://www.cnblogs.com/xiaobaozi-95/p/9328948.html

中文分词器

在lunix下执行下列命令，可以看到本来应该按照中文”北京大学”来查询结果es将其分拆为”北”,”京”,”大”,”学”四个汉字，这显然不符合我的预期。这是因为Es默认的是英文分词器我需要为其配置中文分词器。

#curl HTTP://192.168.79.131:9200/shb01/_analyze?pretty=true -d'{"text":"北京大学"}'

在这里插入图片描述
Es整合ik不直接用ik官网的工具包，需要将ik工具包封装成es插件才行，这个已经有人封装好了可以在github上下载elasticsearch-analysis-ik

1：在github上下载ik插件源码

https://github.com/medcl/elasticsearch-analysis-ik

在这里插入图片描述
2：下载后解压缩在根目录下使用maven对其进行编译。
编译后把target/release目录下的elasticsearch-analysis-ik-1.3.0.zip上传到/usr/local/elasticsearch-1.4.4/plugins/analysis-ik目录下然后使用unzip解压。

把下载的ik插件中config目录下的文件拷贝到/usr/local/elasticsearch-1.4.4/config目录下，这些文件时ik的配置文件，custom是自定义词库文件。
在这里插入图片描述
3：修改elasticsearch.yml文件，把ik分词器设置为es的默认分词器

index.analysis.analyzer.default.type:ik

4：重启es，注意es中的每个节点都要进行上述配置。

自定义分词器

1：创建一个dic文件，编码格式必须为utf-8无BOM格式，每个词一行多个词需要换行。
在这里插入图片描述
2：将自定义的dic文件上传到/usr/local/elasticsearch-1.4.4/config/custom目录下
3：修改ik的配置文件/usr/local/elasticsearch-1.4.4/config/IKAnalyzer.cfg.xml，在其中指定自定义的dic文件。
在这里插入图片描述
4：重启es

analyzer

分词器使用的两个情形：
1，Index time analysis. 创建或者更新文档时，会对文档进行分词
2，Search time analysis. 查询时，对查询语句分词

指定查询时使用哪个分词器的方式有：
  • 查询时通过analyzer指定分词器
  • 创建index mapping时指定search_analyzer
    索引时分词是通过配置 Index mapping中的每个字段的参数analyzer指定的。
# 不指定分词时，会使用默认的standard
PUT test_index
{
  "mappings": {
    "doc": {
      "properties": {
        "title":{
          "type": "text",
          "analyzer": "whitespace"     #指定分词器，es内置有多种analyzer
        }
      }
    }}}

注意：

明确字段是否需要分词，不需要分词的字段将type设置为keyword，可以节省空间和提高写性能。

_analyzer api

GET _analyze
{
  "analyzer": "standard",
  "text": "this is a test"
}
# 可以查看text的内容使用standard分词后的结果

设置analyzer

PUT test
{
  "settings": {
    "analysis": {    #自定义分词器
      "analyzer": {      # 关键字
        "my_analyzer":{   # 自定义的分词器
          "type":"standard",    #分词器类型standard
          "stopwords":"_english_"   #standard分词器的参数，默认的stopwords是\_none_
        }
      }
    }
  },
  "mappings": {
    "doc":{
      "properties": {
        "my_text":{
          "type": "text",
          "analyzer": "standard",  # my_text字段使用standard分词器
          "fields": {
            "english":{            # my_text.english字段使用上面自定义得my_analyzer分词器
              "type": "text", 
              "analyzer": "my_analyzer"
            }}}}}}}

POST test/_analyze
{
  "field": "my_text",    # my_text字段使用的是standard分词器
  "text": ["The test message."]
}
-------------->[the,test,message]

POST test/_analyze
{
  "field": "my_text.english",     #my_text.english使用的是my_analyzer分词器
  "text": ["The test message."]
}
------------>[test,message]

ES内置了很多种analyzer。比如：

standard 由以下组成

  • tokenizer：Standard Tokenizer
  • token filter：Standard Token Filter，Lower Case Token Filter，Stop Token
    Filter
analyzer API测试 ：
POST _analyze
{
  "analyzer": "standard",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

whitespace 空格为分隔符

POST _analyze
{
  "analyzer": "whitespace",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}
-->  [ The,2,QUICK,Brown-Foxes,jumped,over,the,lazy,dog's,bone. ]

simple

POST _analyze
{
  "analyzer": "simple",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}
---> [ the, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone ]

**stop 默认stopwords用_english_ **

POST _analyze
{
  "analyzer": "stop",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}
-->[ quick, brown, foxes, jumped, over, lazy, dog, s, bone ]
可选参数：
# stopwords
# stopwords_path

keyword 不分词的

POST _analyze
{
  "analyzer": "keyword",
  "text": ["The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."]
}
得到  "token": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone." 一条完整的语句

第三方analyzer插件—中文分词（ik分词器）

es内置很多分词器，但是对中文分词并不友好，例如使用standard分词器对一句中文话进行分词，会分成一个字一个字的。这时可以使用第三方的Analyzer插件，比如 ik、pinyin等。这里以ik为例

1，首先安装插件，重启es：

# bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.3.0/elasticsearch-analysis-ik-6.3.0.zip
# /etc/init.d/elasticsearch restart

2，使用示例：

GET _analyze
{
  "analyzer": "ik_max_word",
  "text": "你好吗?我有一句话要对你说呀。"
}

参考：https://github.com/medcl/elasticsearch-analysis-ik
还可以用内置的 character filter, tokenizer, token filter 组装一个analyzer(custom analyzer)
博客园首页新随笔联系管理订阅订阅随笔- 65 文章- 0 评论- 6
es的分词器analyzer
analyzer
分词器使用的两个情形：
1，Index time analysis. 创建或者更新文档时，会对文档进行分词
2，Search time analysis. 查询时，对查询语句分词

指定查询时使用哪个分词器的方式有：

- 查询时通过analyzer指定分词器

View Code
　　- 创建index mapping时指定search_analyzer

View Code
索引时分词是通过配置 Index mapping中的每个字段的参数analyzer指定的

按 Ctrl+C 复制代码

不指定分词时，会使用默认的standard

PUT test_index
{
“mappings”: {
“doc”: {
“properties”: {
“title”:{
“type”: “text”,
“analyzer”: “whitespace” #指定分词器，es内置有多种analyzer
}
}
}}}
按 Ctrl+C 复制代码
注意：

明确字段是否需要分词，不需要分词的字段将type设置为keyword，可以节省空间和提高写性能。
_analyzer api
按 Ctrl+C 复制代码
GET _analyze
{
“analyzer”: “standard”,
“text”: “this is a test”
}

可以查看text的内容使用standard分词后的结果

按 Ctrl+C 复制代码
View Code
设置analyzer
按 Ctrl+C 复制代码
PUT test
{
“settings”: {
“analysis”: { #自定义分词器
“analyzer”: { # 关键字
“my_analyzer”:{ # 自定义的分词器
“type”:“standard”, #分词器类型standard
“stopwords”:“english” #standard分词器的参数，默认的stopwords是_none_
}
}
}
},
“mappings”: {
“doc”:{
“properties”: {
“my_text”:{
“type”: “text”,
“analyzer”: “standard”, # my_text字段使用standard分词器
“fields”: {
“english”:{ # my_text.english字段使用上面自定义得my_analyzer分词器
“type”: “text”,
“analyzer”: “my_analyzer”
}}}}}}}

POST test/_analyze
{
“field”: “my_text”, # my_text字段使用的是standard分词器
“text”: [“The test message.”]
}
-------------->[the,test,message]

POST test/_analyze
{
“field”: “my_text.english”, #my_text.english使用的是my_analyzer分词器
“text”: [“The test message.”]
}
------------>[test,message]
按 Ctrl+C 复制代码
ES内置了很多种analyzer。比如：

standard 由以下组成
tokenizer：Standard Tokenizer
token filter：Standard Token Filter，Lower Case Token Filter，Stop Token Filter
按 Ctrl+C 复制代码
analyzer API测试 ：
POST _analyze
{
“analyzer”: “standard”,
“text”: “The 2 QUICK Brown-Foxes jumped over the lazy dog’s bone.”
}
按 Ctrl+C 复制代码
得到结果：

View Code
whitespace 空格为分隔符
按 Ctrl+C 复制代码
POST _analyze
{
“analyzer”: “whitespace”,
“text”: “The 2 QUICK Brown-Foxes jumped over the lazy dog’s bone.”
}
–> [ The,2,QUICK,Brown-Foxes,jumped,over,the,lazy,dog’s,bone. ]
按 Ctrl+C 复制代码
simple
按 Ctrl+C 复制代码
POST analyze
{
“analyzer”: “simple”,
“text”: “The 2 QUICK Brown-Foxes jumped over the lazy dog’s bone.”
}
—> [ the, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone ]
按 Ctrl+C 复制代码
stop 默认stopwords用_english
按 Ctrl+C 复制代码
POST _analyze
{
“analyzer”: “stop”,
“text”: “The 2 QUICK Brown-Foxes jumped over the lazy dog’s bone.”
}
–>[ quick, brown, foxes, jumped, over, lazy, dog, s, bone ]
可选参数：

stopwords

stopwords_path

按 Ctrl+C 复制代码
keyword 不分词的
按 Ctrl+C 复制代码
POST _analyze
{
“analyzer”: “keyword”,
“text”: [“The 2 QUICK Brown-Foxes jumped over the lazy dog’s bone.”]
}
得到 “token”: “The 2 QUICK Brown-Foxes jumped over the lazy dog’s bone.” 一条完整的语句
按 Ctrl+C 复制代码

第三方analyzer插件—中文分词（ik分词器）
es内置很多分词器，但是对中文分词并不友好，例如使用standard分词器对一句中文话进行分词，会分成一个字一个字的。这时可以使用第三方的Analyzer插件，比如 ik、pinyin等。这里以ik为例

1，首先安装插件，重启es：

按 Ctrl+C 复制代码

bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.3.0/elasticsearch-analysis-ik-6.3.0.zip

/etc/init.d/elasticsearch restart

按 Ctrl+C 复制代码
2，使用示例：

按 Ctrl+C 复制代码
GET _analyze
{
“analyzer”: “ik_max_word”,
“text”: “你好吗?我有一句话要对你说呀。”
}
按 Ctrl+C 复制代码
分词结果
参考：https://github.com/medcl/elasticsearch-analysis-ik
还可以用内置的 character filter, tokenizer, token filter 组装一个analyzer(custom analyzer)

custom 定制analyzer，由以下几部分组成

  • 0个或多个e character filters
  • 1个tokenizer
  • 0个或多个 token filters

自定义分词器

自定义分词需要在索引的配置中设定，如下所示 :

PUT test_index
{
  "settings": {
    "analysis": {    # 分词设置，可以自定义
      "char_filter": {},   #char_filter  关键字
      "tokenizer": {},    #tokenizer 关键字
      "filter": {},     #filter  关键字
      "analyzer": {}    #analyzer 关键字
    }
  }
}

character filter 在tokenizer之前对原始文本进行处理，比如增加，删除，替换字符等

会影响后续tokenizer解析的position和offset信息

  • html strip 除去html标签和转换html实体
    参数：escaped_tags不删除的标签

  • mapping 映射类型，以下参数必须二选一
    mappings 指定一组映射，每个映射格式为 key=>value
    mappings_path 绝对路径或者相对于config路径 key=>value

PUT t_index
{
  "settings": {
    "analysis": {
      "analyzer": {     #关键字
        "my_analyzer":{   #自定义分词器
          "tokenizer":"standard",
          "char_filter":"my_char_filter"  
        }
      },
      "char_filter": {    #关键字
        "my_char_filter":{  #自定义char_filter
          "type":"mapping", 
          "mappings":[       #指明映射关系
            ":)=>happy",
            ":(=>sad"
          ]
        }}}}}
POST t_index/_analyze
{
  "analyzer": "my_analyzer",
  "text": ["i am so :)"]
}
得到 [i,am,so,happy]

pattern replace

  • pattern参数 正则
  • replacement 替换字符串 可以使用$1…$9
  • flags 正则标志

tokenizer 将原始文档按照一定规则切分为单词

standard
参数：max_token_length，最大token长度，默认是255
letter 非字母时分成多个terms
lowcase 跟letter tokenizer一样 ，同时将字母转化成小写
whitespace 按照空白字符分成多个terms
参数：max_token_length
keyword 空操作，输出完全相同的文本
参数：buffer_size，单词一个term读入缓冲区的长度，默认256
token filter 针对tokenizer 输出的单词进行增删改等操作
lowercase 将输出的单词转化成小写
stop 从token流中删除stop words

参数有：
# stopwords   要使用的stopwords， 默认_english_
# stopwords_path
# ignore_case   设置为true则为小写，默认false
# remove_trailing
PUT t_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer":{
          "type":"custom",
          "tokenizer":"standard",
          "filter":"my_filter"
        }
      },
      "filter": {
        "my_filter":{
          "type":"stop",
          "stopwords":["and","or","not"]
        }
      }
    }
  }
}
POST t_index/_analyze
{
  "analyzer": "my_analyzer",
  "text": ["lucky and happy not sad"]
}
-------------->
[lucky,happy,sad]

https://www.cnblogs.com/xiaobaozi-95/p/9328948.html

Elasticsearch安装ik分词器 : https://www.jianshu.com/p/e29ab446cfa6

寰宇001
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELK--分词&Lunece
Abner_G的博客
02-12 2089
ELK--分词&luncen????前言分词IK分词器二、使用步骤1.引入库2.读入数据总结 ????前言 百度浏览器搜索“Abner G的CSDN” 如下，如何实现，就需要知道检索的分词，倒排索引的概念。 分词 分词就是将句子、段落、文章这种长文本，分解为以字词为单位的数据结构，方便后续的处理分析工作。 文本都是一些“非结构化数据”，我们需要先将这些数据转化为“结构化数据”。 IK分词器 Java编写，分词效率目前排名第二，支持中文。 分词是根据底层词库词库，将文本提取出关键词。 二、使用步
ES-分词器
蓝天⊙白云的博客
03-16 663
ikmaxword会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合，适合 Term Query；ik下载地址：https://github.com/medcl/elasticsearch-analysis-ik。Github加速器：https://github.com/fhefh2015/Fast-GitHub。quantifier.dic：特殊词库：计量单位等。
elasticsearch 基于ik分词器的分词查询和模糊匹配_es分词查询模糊匹配
最新发布
2401_84412472的博客
04-20 1240
关于分布式，限流+缓存+缓存，这三大技术（包含：ZooKeeper+Nginx+MongoDB+memcached+Redis+ActiveMQ+Kafka+RabbitMQ）等等。这些相关的面试也好，还有手写以及学习的笔记PDF，都是啃透分布式技术必不可少的宝藏。以上的每一个专题每一个小分类都有相关的介绍，并且小编也已经将其整理成PDF啦网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
Elasticsearch 分词插件 ik
Waller_的博客
11-19 399
详情:https://github.com/medcl/elasticsearch-analysis-ik 安装: 注意分词器与你安装的ES版本对应,并重启ES cd /opt/es/elasticsearch-7.7.0 ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.7.0/elasticsearch-analysis-ik-7..
IK 中文分词器
asmall_cat的博客
05-17 818
IK 中文分词器
Elasticsearch语法知多少之基础语法
前者已逝，后者未至。
07-10 890
熟练使用ES基础语法，通过基础语法实现常见的业务功能。后续会在其他博文中补充高级语法，包括聚合、通配符，高亮等操作。
elasticsearch7.17.11版本分词器插件安装包
11-13
Elasticsearch（简称ES）是一款基于Lucene的分布式、RESTful搜索引擎，广泛应用于日志收集、数据分析等领域，是ELK（Elasticsearch、Logstash、Kibana）堆栈的重要组成部分。在处理中文数据时，合理的分词对于提升...
elasticsearch7.17.10版本分词器插件安装包
11-13
**Elasticsearch 7.17.10 分词器插件安装详解** 在日志收集和数据分析领域，Elasticsearch（简称ES）扮演着重要的角色。作为一个强大的全文搜索引擎，Elasticsearch允许用户通过简单的API进行数据索引、搜索、分析...
elasticsearch7.17.8版本分词器插件安装包
11-13
在Elasticsearch中，分词器（Analyzer）负责对索引和查询的文本进行分析，将其拆分成一系列的分词。对于中文，由于其独特的语法结构，预设的分词器可能无法满足需求，因此需要安装特定的中文分词器插件，如IK ...
elasticsearch7.17.14版本分词器插件安装包
11-13
在日志收集和分析领域，Elasticsearch（简称ES）是广泛应用的搜索引擎和数据分析工具，它与Logstash（数据采集）、Kibana（数据可视化）共同构成了ELK（Elasticsearch、Logstash、Kibana）栈。对于中文处理，分词器...
elasticsearch7.17.12版本分词器插件安装包
11-13
这个“elasticsearch-analysis-ik-7.17.12.jar”就是我们要安装的分词器插件，它叫做IK Analyzer，是针对中文分词的开源工具，能有效处理各种复杂的中文词汇和短语，提供高效的分词效果。 IK Analyzer 提供了两种...
【ES】ElasticSearch analyzer 和 analyze API
w1992wishes的博客
10-12 1700
文章目录一、分词二、分析器 analyzer2.1、简介2.2、中文分析器2.2.1、离线安装2.2.2、在线安装（推荐）2.2.3、 ik_max_word 和 ik_smart 区别2.3、自定义分析器三、analyze api3.1、写时分词3.2、读时分词 一、分词 搜索引擎的核心是倒排索引，而倒排索引的基础就是分词。所谓分词可以简单理解为将一个完整的句子切割为一个个单词的过程。在 es ...
修改ES默认分词设置
石头视角
08-11 6956
5.0之后不在支持在es配置文件中指定分词方式，需要通过配置的方式去指定，可以借助java api的方式去指定 CreateIndexRequest request = new CreateIndexRequest(indexName); request.settings(Settings.builder() .put("index.number_of...
ES之分析器(Analyzer)
u011250186的博客
07-10 5185
ES-分词器(Analyzer)
Elasticsearch使用系列-ES增删查改基本操作+ik分词
she8656837的专栏
03-09 1488
可以看到“爱祖国”的分词结果为“爱，祖，国”，被拆分成了单个字，只要一个字匹配到就查出来，这样的结果很多不是我们想要的。这里说一下kibana执行的原理，kibana执行的是http请求，前面的PUT为请求方式，还有POST,GET等，后面的user是索引名称，因为kibana配置了es的信息，数值：long，integer，short，byte，double，float，half float，scaled float。这里的数据类型标红的是ES的重点类型，其它的和平时开发的类型一样，没什么特别。
es分词查询与模糊查询 
C18298182575的博客
09-11 4032
1，目标 实现es分词查询与模糊查询 2.关于分词文章参考以下连接 https://www.cnblogs.com/zlslch/p/6440373.html 3.索引字段定义 商品名称定义了中文分词器，因为名称为中文组成可以进行分词查询 商品编码定义精确查询 "product_name": { "type": "text", "fields": { "keyword": { "type": "keyword" }, "maxword": { "analyzer": "ik_max_wor.
ik分词器的安装
nanci9的博客
10-07 1900
ik分词器的安装 注意ik分词器版本必须与你的elasticsearch版本相同 1.下载ik分词器(github上面有开源项目) https://github.com/medcl/elasticsearch-analysis-ik 2.下载好之后解压 3.把所有解压出来的文件复制到elasticsearch中的plugin文件夹中,可以在里面再新建一个ik的文件夹 4.重启es就可以了 ...
elasticsearch文档-analysis
pan-zy的专栏
05-15 2478
原文地址
ELK日志归集 - 搭建及使用说明文档V1.0.docx
11-14
"ELK日志归集是一个用于管理和分析日志数据的解决方案，由Elastic Stack中的Elasticsearch、Logstash、Kibana（ELK）以及Filebeat组件构成。此文档详细介绍了如何搭建和使用ELK栈，特别是在日志归集中利用Filebeat和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值