第九节 ES分词器

最新推荐文章于 2024-04-07 23:43:19 发布
最新推荐文章于 2024-04-07 23:43:19 发布
阅读量187 收藏
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch ik分词器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hi_kong/article/details/119573768
版权

        前面章节已经安装了分词器，但是关于分词器的具体使用方式，一直没有仔细研究，今天大概研究了下，记录下来作为备忘。

  • 英文分词

        英文分词是按照空格来分的，请求参数如下：

POST http://10.140.188.135:9200/_analyze
{
    "text": "hello word"
}

返回内容：
{
    "tokens": [
        {
            "token": "hello",
            "start_offset": 0,
            "end_offset": 5,
            "type": "<ALPHANUM>",
            "position": 0
        },
        {
            "token": "word",
            "start_offset": 6,
            "end_offset": 10,
            "type": "<ALPHANUM>",
            "position": 1
        }
    ]
}

        无论内容是否正确，都是按照空格来分词：

POST http://10.140.188.135:9200/_analyze
{
    "text": "nihao word"
}

返回内容：
{
    "tokens": [
        {
            "token": "nihao",
            "start_offset": 0,
            "end_offset": 5,
            "type": "<ALPHANUM>",
            "position": 0
        },
        {
            "token": "word",
            "start_offset": 6,
            "end_offset": 10,
            "type": "<ALPHANUM>",
            "position": 1
        }
    ]
}
  • 中文分词

        默认的分词如下：

POST http://10.140.188.135:9200/_analyze
{
    "text": "生活如此美丽"
}

返回内容：
{
    "tokens": [
        {
            "token": "生",
            "start_offset": 0,
            "end_offset": 1,
            "type": "<IDEOGRAPHIC>",
            "position": 0
        },
        {
            "token": "活",
            "start_offset": 1,
            "end_offset": 2,
            "type": "<IDEOGRAPHIC>",
            "position": 1
        },
        {
            "token": "如",
            "start_offset": 2,
            "end_offset": 3,
            "type": "<IDEOGRAPHIC>",
            "position": 2
        },
        {
            "token": "此",
            "start_offset": 3,
            "end_offset": 4,
            "type": "<IDEOGRAPHIC>",
            "position": 3
        },
        {
            "token": "美",
            "start_offset": 4,
            "end_offset": 5,
            "type": "<IDEOGRAPHIC>",
            "position": 4
        },
        {
            "token": "丽",
            "start_offset": 5,
            "end_offset": 6,
            "type": "<IDEOGRAPHIC>",
            "position": 5
        }
    ]
}

        默认分词把每一个汉字当成一个词来处理，这显然不是我们需要的。所以我们可以执行分词方式。

  • 指定分词器

        之前我们安装了IK分词器，IK分词器有两种分词方式，ik_max_word和ik_smart，区别是ik_max_word会做最细粒度的分词，而ik_smart会做最粗粒度的分词。具体可以通过下面自定义分词来理解。

        ik_max_word方式分词：

POST http://10.140.188.135:9200/_analyze
{  
    "analyzer": "ik_max_word",
    "text": "生活如此美好"  
}

返回数据：
{
    "tokens": [
        {
            "token": "生活",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "如此",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "美好",
            "start_offset": 4,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 2
        }
    ]
}

        ik_smart分词方式：

POST http://10.140.188.135:9200/_analyze
{  
    "analyzer": "ik_smart",
    "text": "生活如此美好"  
}

返回数据：
{
    "tokens": [
        {
            "token": "生活",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "如此",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "美好",
            "start_offset": 4,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 2
        }
    ]
}

        可以看到，这句话两种分词方式结果一样。下面换一句就能看到区别了：

POST http://10.140.188.135:9200/_analyze
{  
    "analyzer": "ik_max_word",
    "text": "中华人民共和国"  
}

返回数据：
{
    "tokens": [
        {
            "token": "中华人民共和国",
            "start_offset": 0,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "中华人民",
            "start_offset": 0,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "中华",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "华人",
            "start_offset": 1,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "人民共和国",
            "start_offset": 2,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 4
        },
        {
            "token": "人民",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 5
        },
        {
            "token": "共和国",
            "start_offset": 4,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 6
        },
        {
            "token": "共和",
            "start_offset": 4,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 7
        },
        {
            "token": "国",
            "start_offset": 6,
            "end_offset": 7,
            "type": "CN_CHAR",
            "position": 8
        }
    ]
}


POST http://10.140.188.135:9200/_analyze
{  
    "analyzer": "ik_smart",
    "text": "中华人民共和国"  
}

返回数据：
{
    "tokens": [
        {
            "token": "中华人民共和国",
            "start_offset": 0,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 0
        }
    ]
}

        可以看到，ik_max_word的方式，分词更为细致。而ik_smart分词的粒度更粗。

  • 自定义分词

        对于专业名字，需要自定义来配置，ik分词器支持自定义分词。具体方法如下。

        到ik分词器安装目录下的config文件夹下，可以看到有dic后缀的文件，还有一个IKAnalyzer.cfg.xml文件，其中IKAnalyzer.cfg.xml为配置文件，dic为配置的分词文件。

        新建一个mytest.dic文件，输入需要分词的内容（每一行表示一个分词）：

生活如
此美好
活如
此美

        修改IKAnalyzer.cfg.xml：

    <!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">mytest.dic</entry>

        重启es服务后，再查询结果如下：

POST http://10.140.188.135:9200/_analyze
{  
    "analyzer": "ik_max_word",
    "text": "生活如此美好"  
}

返回数据：
{
    "tokens": [
        {
            "token": "生活如",
            "start_offset": 0,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "生活",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "活如",
            "start_offset": 1,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "如此",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "此美好",
            "start_offset": 3,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 4
        },
        {
            "token": "此美",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 5
        },
        {
            "token": "美好",
            "start_offset": 4,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 6
        }
    ]
}

POST http://10.140.188.135:9200/_analyze
{  
    "analyzer": "ik_smart",
    "text": "生活如此美好"  
}

返回数据：
{
    "tokens": [
        {
            "token": "生活如",
            "start_offset": 0,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "此美好",
            "start_offset": 3,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 1
        }
    ]
}

        可以看到，已经按照我们的意愿进行了分词，具体使用那种分词方式，就根据自己的需求确定了。

        （在config目录中，原始的文件都是默认的分词的配置，如果把里面的“中华人民共和国”删除，则不会出现上面“中华人民共和国”作为一个整体的分词结果）。

hi_kong
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ES 分词器
lqbz的总结
12-18 8537
分词器： ES在创建倒排索引时需要对文档分词。 在搜索时，需要对用户输入内容分词。 但默认的分词规则对中文处理并不友好。 在kibana的DevTools中测试： POST /_analyze { "analyzer": "standard", "text": "张三老铁学习java！" } post代表请求方式。 /_analyze代表分词分析。 analyzer分词类型，这里是默认的standard分词器。 text要分词的内容。 中文都直接被拆分成了一个个汉字，所以不能此分词器，要用lk分词器。
elasticsearch的IK分词器安装包
07-13
然而，对于中文数据的处理，Elasticsearch原生的分词器并不理想，这时就需要引入第三方分词器，比如IK分词器。 **IK分词器介绍** IK分词器（Intelligent Chinese Analyzer for Elasticsearch）是专为Elasticsearch...
es 分词器
qq_38146392的博客
11-17 896
分词器 1 normalization：文档规范化,提高召回率 2 字符过滤器（character filter）：分词之前的预处理，过滤无用字符 HTML Strip Character Filter：html_strip 参数：escaped_tags 需要保留的html标签 Mapping Character Filter：type mapping Pattern Replace Character Filter：type pattern_replace 3 令牌过滤器（token fil
es-分词器
epitomizelu的专栏
04-19 153
一，standard // 分词器 POST _analyze { "analyzer":"standard", "text": "this is a book" } 二，stop // 分词器 POST _analyze { "analyzer":"stop", "text": "this is a book" } 三，simple // 分词器 POST _analyze ...
ES-分词器
蓝天⊙白云的博客
03-16 664
ikmaxword会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合，适合 Term Query；ik下载地址：https://github.com/medcl/elasticsearch-analysis-ik。Github加速器：https://github.com/fhefh2015/Fast-GitHub。quantifier.dic：特殊词库：计量单位等。
ElasticSearch安装ik分词插件.txt
01-03
同时，在 ElasticSearch 的配置文件 `elasticsearch.yml` 中添加以下内容来启用 ik 分词器： ```yaml index: analysis: analyzer: ik: alias: [ik_analyzer] type: org.elasticsearch.index.analysis....
elasticsearch-analysis-ik-7.9.3 (1).zip
最新发布
04-11
4. **elasticsearch-analysis-ik**：这个插件是 Elasticsearch 社区开发的一个第三方分词器，它提供了丰富的分词配置选项，如基础分词器、同义词扩展、停用词过滤等，可以满足不同场景下的中文搜索需求。 5. **版本...
Elasticsearch 技术解析与实战.zip
07-25
前言 第1章 Elasticsearch入门 1 1.1 Elasticsearch是什么 1 1.1.1 Elasticsearch的历史 2 1.1.2 相关产品 3 1.2 全文搜索 3 1.2.1 Lucene介绍 4 1.2.2 Lucene倒排索引 4 1.3 基础知识 6 1.3.1 Elasticsearch术语及...
最新版windows elasticsearch-8.4.2-windows-x86_64.zip
09-23
9. **弹性伸缩**：Elasticsearch设计的核心之一就是弹性，可以轻松地添加或移除节点以适应数据量的增长或减少。在Windows环境中，这同样适用，用户需考虑如何进行横向扩展以提升系统处理能力。 10. **备份与恢复**...
es中文分词器ik
04-14
es中文分词器ikes中文分词器ikes中文分词器ikes中文分词器ikes中文分词器ik
Elasticsearch之中文分词器插件es-ik（基于es2.4.0版本）
07-06
如果直接使用Elasticsearch的朋友在处理中文内容的搜索时，肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字，当用Kibana作图的时候，按照term来分组，结果一个汉字被分成了一组。 这是因为使用了Elasticsearch中默认的标准分词器，这个分词器在处理中文的时候会把中文单词切分成一个一个的汉字，因此引入es之中文的分词器插件es-ik就能解决这个问题。
ES分词器
m0_62565675的博客
01-12 1782
ES分词器
ES---分词器
shall潇の菜园
03-17 3627
ES—分词器 转载链接：https://www.cnblogs.com/qdhxhz/p/11585639.html
三、es分词器
dl674756321的博客
08-29 3055
一、内置分词器 es内置分词器对中文很不友好，处理方式为：一个字一个词。 es的内置分词器： Standard Analyzer：默认分词器，按词切分，小写处理 Simple Analyzer：按照非字母切分（符号被过滤），小写处理 Stop Analyzer：停用词过滤（the，a，is），小写处理 Whitespace Analyzer：按照空格切分，不转小写 Keyword Analyzer：直接将输入当做输出，不分词 Patter Analyzer：正则表达式，默认 \W+（非字符分割） Lan
ES使用——分词器
jionli的博客
04-29 5875
文章目录前言一、analyzer介绍二、analyzer使用1.分词查看whitespace2.分词查看simple3.分词查看standard4.分词查看ik_max_word5.分词查看ik_smart三、注意事项总结 前言 提示：ES 宗旨 专注于搜索，ES也有内置的分词器，但是对于中文分词我们还是比较喜欢使用ik分词器，该文章主要讲述下关于分词器的使用 一、analyzer介绍 analyzer是mapping映射时候使用的，主要是text的属性，text在不设置analyzer的时候，默认使
ES入门十四：分词器
一只小星星
04-07 2131
除了使用内置的分词器外，我们还可以通过组合 Tokenizer、Filters、Character Filters 来自定义分词器。"char_filter": { # 自定义char_filter"mappings": ["& => and"] # 将 '&' 转换为 'and'},"filter": { # 自定义 filter"stopwords": ["an"] # 设置 "an" 为停用词},"analyzer": { # 自定义分词器为 custom_analyzer。
ElasticSearch系列——分词器
qq_51553982的博客
11-09 2632
扩展词典:就是有些词并不是关键词,但是也希望被ES用来作为检索的关键词,可以将这些词加入扩展词典。停用词典:就是有些词是关键词,但是出于业务场景不想使用这些关键词被检索到，可以将这些词放入停用词典。我们可以直接去文件中进行定义,你问我怎么知道的?人家README里写的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值