Elasticsearch-7.4.2使用之中文分词

最新推荐文章于 2024-04-20 14:22:09 发布
最新推荐文章于 2024-04-20 14:22:09 发布
阅读量1k 收藏 1
点赞数
分类专栏： ES 文章标签： es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qinqinde123/article/details/106810401
版权

一. ElasticSearch分词概念

当我们在es中存储一个文档的时候，文档内容会被提取出若干词元去存储，方便检索。ES内置了很多分词器，但内置的分词器对中文的处理不好。下面进行介绍

二. ElasticSearch内置分词器

1. 内置分词器对英文的分词

http://localhost:9200/_analyze/
{
	"text":"hello world"
}

操作成功后，响应的内容如下

{
    "tokens":[
        {
            "token":"hello",
            "start_offset":0,
            "end_offset":5,
            "type":"<ALPHANUM>",
            "position":0
        },
        {
            "token":"world",
            "start_offset":6,
            "end_offset":11,
            "type":"<ALPHANUM>",
            "position":1
        }
    ]
}

2. 内置分词器对中文的分词

http://localhost:9200/_analyze/
{
	"text":"我爱我的祖国"
}

操作成功后，响应的内容如下

{
    "tokens":[
        {
            "token":"我",
            "start_offset":0,
            "end_offset":1,
            "type":"<IDEOGRAPHIC>",
            "position":0
        },
        {
            "token":"爱",
            "start_offset":1,
            "end_offset":2,
            "type":"<IDEOGRAPHIC>",
            "position":1
        },
        {
            "token":"我",
            "start_offset":2,
            "end_offset":3,
            "type":"<IDEOGRAPHIC>",
            "position":2
        },
        {
            "token":"的",
            "start_offset":3,
            "end_offset":4,
            "type":"<IDEOGRAPHIC>",
            "position":3
        },
        {
            "token":"祖",
            "start_offset":4,
            "end_offset":5,
            "type":"<IDEOGRAPHIC>",
            "position":4
        },
        {
            "token":"国",
            "start_offset":5,
            "end_offset":6,
            "type":"<IDEOGRAPHIC>",
            "position":5
        }
    ]
}

3. 结论

英文天生以空格分隔，自然就以空格来分词，这没有任何问题。
分词把每个汉字都独立分开来了，这对中文分词就没有意义了

二. 中文分词器ik

1. 下载安装

链接：https://pan.baidu.com/s/1sZHIk1wz7ohqziO_ayJksA  提取码：9z3d

在es的plugins目录下创建ik文件夹，并将ik包解压到ik目录下，重启es

2. ik分词器有两种模式ik_max_word和ik_smart

1）ik_max_word：按照最细粒度划分

http://localhost:9200/_analyze/
{
	"text":"世界如此之大",
        "analyzer":"ik_max_word"
}

操作成功后，响应的内容如下

{
    "tokens":[
        {
            "token":"世界",
            "start_offset":0,
            "end_offset":2,
            "type":"CN_WORD",
            "position":0
        },
        {
            "token":"如此之",
            "start_offset":2,
            "end_offset":5,
            "type":"CN_WORD",
            "position":1
        },
        {
            "token":"如此",
            "start_offset":2,
            "end_offset":4,
            "type":"CN_WORD",
            "position":2
        },
        {
            "token":"之大",
            "start_offset":4,
            "end_offset":6,
            "type":"CN_WORD",
            "position":3
        }
    ]
}

2）ik_smart：最粗粒度的拆分

http://localhost:9200/_analyze/
{
	"text":"世界如此之大",
        "analyzer":"ik_smart"
}

操作成功后，响应的内容如下

{
    "tokens":[
        {
            "token":"世界",
            "start_offset":0,
            "end_offset":2,
            "type":"CN_WORD",
            "position":0
        },
        {
            "token":"如此",
            "start_offset":2,
            "end_offset":4,
            "type":"CN_WORD",
            "position":1
        },
        {
            "token":"之大",
            "start_offset":4,
            "end_offset":6,
            "type":"CN_WORD",
            "position":2
        }
    ]
}

三. ik自定义词典

ik自身提供的分词词典无法满足特定的一些需求（如专用名词等），ik提供了自定义词典的功能，也就是用户可以自己定义一些词汇,这样ik就会把它们当作词典中的内容来处理。

1. 在ik的config目录下创建扩展名为.dic的文件，将词条加入进去

2. 重启es生效

3. 例如"王移薛力"两个人名，如果没有加入词条，分解结果

http://localhost:9200/_analyze/
{
	"text":"王移薛力",
    "analyzer":"ik_smart"
}

操作成功后，响应的内容如下

{
    "tokens":[
        {
            "token":"王",
            "start_offset":0,
            "end_offset":1,
            "type":"CN_CHAR",
            "position":0
        },
        {
            "token":"移",
            "start_offset":1,
            "end_offset":2,
            "type":"CN_CHAR",
            "position":1
        },
        {
            "token":"薛",
            "start_offset":2,
            "end_offset":3,
            "type":"CN_CHAR",
            "position":2
        },
        {
            "token":"力",
            "start_offset":3,
            "end_offset":4,
            "type":"CN_CHAR",
            "position":3
        }
    ]
}

4. 将“王移薛力”加入词条，分解结果

http://localhost:9200/_analyze/
{
	"text":"王移薛力",
    "analyzer":"ik_smart"
}

操作成功后，响应的内容如下

{
    "tokens":[
        {
            "token":"王移",
            "start_offset":0,
            "end_offset":2,
            "type":"CN_WORD",
            "position":0
        },
        {
            "token":"薛力",
            "start_offset":2,
            "end_offset":4,
            "type":"CN_WORD",
            "position":1
        }
    ]
}

四. 项目中的应用

在应用中，为了提供索引的覆盖范围，通常会采用ik_max_word分析器，会以最细粒度分词索引，搜索时为了提高搜索准确度，会采用ik_smart分析器，会以粗粒度分词。

1. 创建索引

http://localhost:9200/book/
{
	"mappings": {
		"properties": {
			"title": {
				"type": "text",
				"analyzer": "ik_max_word",         //存储
				"search_analyzer": "ik_smart"      //查找
			},
			"content": {
				"type": "text"
			}
		}
	}
}

2. 添加数据

http://localhost:9200/book/_doc/01/
{
	"title":"我爱我亲爱的祖国",
	"content":"2019年的10月1日，与往年的都不一样。转眼间，已经是我来到英国的第2个月。听母亲说，家乡的街道上挂满了五星红旗，就连晚霞的红都要比往常久一些。下课的铃声响起，我的心却早就飘到了课堂外去——我们几个中国留学生说好放学后一起看国庆盛典。虽然是重播，可那盛大的场面无不震撼着每一个中国人的心。当中国军人齐刷刷地转头敬礼，我的泪水在眼眶里打转，他们的每一个动作、每一个步伐都那样整齐划一、分秒不差。在那一刻，民族自豪感油然而生，我在心中喊了无数遍“我爱我的祖国"
}
http://localhost:9200/book/_doc/02/
{
	"title":"我爱我的家乡",
	"content":"家乡，是心bai中一首唱不完的歌，du家乡，是心中一根然不尽的火柴。每当我zhi独自骑车到桃花溪，这种对家乡的喜dao爱就像潮水一拥而上"
}

3. 检索

http://localhost:9200/book/_search/
{
    "query": {
        "match": { "title" : "我爱" }
    }
}

操作成功后，响应的内容如下

{
    "took":1,
    "timed_out":false,
    "_shards":{
        "total":1,
        "successful":1,
        "skipped":0,
        "failed":0
    },
    "hits":{
        "total":{
            "value":2,
            "relation":"eq"
        },
        "max_score":0.114749074,
        "hits":[
            {
                "_index":"book",
                "_type":"_doc",
                "_id":"02",
                "_score":0.114749074,
                "_source":{
                    "title":"我爱我的家乡",
                    "content":"家乡，是心bai中一首唱不完的歌，du家乡，是心中一根然不尽的火柴。每当我zhi独自骑车到桃花溪，这种对家乡的喜dao爱就像潮水一拥而上"
                }
            },
            {
                "_index":"book",
                "_type":"_doc",
                "_id":"01",
                "_score":0.097392075,
                "_source":{
                    "title":"我爱我亲爱的祖国",
                    "content":"2019年的10月1日，与往年的都不一样。转眼间，已经是我来到英国的第2个月。听母亲说，家乡的街道上挂满了五星红旗，就连晚霞的红都要比往常久一些。下课的铃声响起，我的心却早就飘到了课堂外去——我们几个中国留学生说好放学后一起看国庆盛典。虽然是重播，可那盛大的场面无不震撼着每一个中国人的心。当中国军人齐刷刷地转头敬礼，我的泪水在眼眶里打转，他们的每一个动作、每一个步伐都那样整齐划一、分秒不差。在那一刻，民族自豪感油然而生，我在心中喊了无数遍“我爱我的祖国"
                }
            }
        ]
    }
}
victor-维克特
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ElasticSearch7.3学习(十五)----中文分词器(IK Analyzer)及自定义词库
「 虚幻私塾」
03-29 4056
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 1、 中文分词器 1.1 默认分词器 先来看看ElasticSearch中默认的standard 分词器，对英文比较友好，但是对于中文来说就是按照字符拆分，不是那么友好。 GET /_analyze { "analyzer": "standard", "text": "
Elasticsearch7 分词器(内置分词器和自定义分词器)
white_while的博客
08-05 7715
文章目录Elasticsearch7 分词器(内置分词器和自定义分词器)analysis概览char_filterhtml_stripmappingpattern_replacefilterasciifoldinglengthlowercaseuppercasengramedge_ngramdecimal_digittokenizerWord Oriented TokenizersStandard...
Elasticsearch之中文分词器
一心同学的博客
03-08 3786
讲解中文分词器IK的下载安装以及使用步骤，让我们的开发流程更加流畅、
使用docker安装elasticsearch 7.4.2
m0_67403013的博客
08-27 447
端口映射 9200:9200 冒号左边的端口号是主机端口，右边的端口号是docker容器端口，切忌千万不要弄反了，9200是向es发送http请求的端口，9300是分布式集群下es节点之间通信的端口。docker服务启动时定义的自定义链DOCKER由于某种原因被清掉。挂载 : 左边是主机目录 ，右边是docer实例内部目录。ik分词器的版本要和elasticsearch的版本对应。其它用户只有 r可读，x可执行的权限，没有w写的权限。创建配置文件，表示es允许任何的远程的主机访问。稍等片刻后，访问es。..
Elasticsearch的分词技术全面解析
最新发布
专注于数据库技术分享，包含但不限于Oracle，MySQL，PostgreSQL，ElasticSearch及国产数据库等
04-20 980
是将文本字符串拆分成独立的词汇或术语的过程。在 Elasticsearch 中，分词通常发生在索引文档时，确保搜索时能够匹配到正确的词汇片段。分词的目标是生成有意义的、可比较的 tokens，同时兼顾搜索效率和查询语义理解。Elasticsearch 允许为索引中每个字段指定不同的分析器，以适应各种文本类型和搜索需求。这可以通过在索引映射（mapping）中设置。是分词工作的核心，它包含了一个完整的文本分析流程。响应将包含分词后的 tokens 列表，帮助验证分析器配置是否符合预期。
谷粒商城 高级篇 (三) --------- ElasticSearch 分词
在森林里麋了鹿
09-11 1131
ElasticSearch 分词
elasticsearch-analysis-ik-7.4.2.zip
02-25
**Elasticsearch 分析器详解：IK中文分词器 v7.4.2** 在搜索引擎和文本分析领域，Elasticsearch（简称ES）是一个广泛使用的开源解决方案，它提供了强大的全文检索、实时分析以及高可用性。为了更好地处理中文文档，...
elasticsearch-analysis-ik-7.4.2.zip.7z
07-27
elasticsearch-analysis-ik就是这样一个插件，它是针对Elasticsearch的最流行的中文分词器之一，旨在提供高效、准确的中文分词服务。 elasticsearch-analysis-ik插件由IK Analyzer团队开发，IK即...
elasticsearch-7.4.2
11-10
综上所述，Elasticsearch 7.4.2是一个强大的搜索和分析引擎，结合IK、拼音和jieba分词器，特别适合处理中文文本，为企业级应用提供了灵活且高效的解决方案。在实际应用中，需要根据具体业务场景进行细致的配置和优化...
es 中文分词器
qq_34526237的博客
09-19 4996
中文分词器前言一、使用中文分词器建立索引？二、使用步骤1.新建中文查询2.问题原因2.1中文分词器3. 解决方案3.1总结 前言 提示：es查询中中文分词器的使用是比较多的， 但是这个中文分词器也有一些问题。 一、使用中文分词器建立索引？ PUT /test { "settings" : { "analysis" : { "analyzer" : { "ik" : { "tokenizer" : "ik_max_word" }
Elasticsearch之中文分词器插件es-ik（基于es2.4.3版本）
07-06
如果直接使用Elasticsearch的朋友在处理中文内容的搜索时，肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字，当用Kibana作图的时候，按照term来分组，结果一个汉字被分成了一组。 这是因为使用了Elasticsearch中默认的标准分词器，这个分词器在处理中文的时候会把中文单词切分成一个一个的汉字，因此引入es之中文的分词器插件es-ik就能解决这个问题。
ElasticSearch7.4安装IK分词器
chuixue24的博客
01-18 1184
ik分词器github地址： https://github.com/medcl/elasticsearch-analysis-ik/ 安装环境为win10，进入elasticsearc安装目录下bin目录，执行如下命令： elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/re...
elasticsearch使用中文分词器和拼音分词器，自定义分词器
alwaysBrother的博客
07-02 5044
elasticsearch使用中文分词器和拼音分词器，自定义分词器 1. 到github 下载分词器 上面有已经编译好打好的包。下载后在es安装目录下的plugins/目录下创建ik和pinyin两个文件夹，把下载好的zip包解压在里面。重启es就会生效了。github上readme.txt文件里有使用说明。注意下载的时候下载版本对应的，比如我的es版本是5.6.16，下载分词器的时候也要下载这个...
ElasticSearch:为中文分词器增加对英文的支持（让中文分词器可以处理中英文混合文档）（转）
热门推荐
GLQ_LH的博客
11-13 1万+
本文地址，需转载请注明出处： http://blog.csdn.net/hereiskxm/article/details/47441911 当我们使用中文分词器的时候，其实也希望它能够支持对于英文的分词。试想，任何一个存储文字的字段都有可能是中英文夹杂的。 我们的项目中使用IKAnalyzer作为中文分词器，它在处理文档过程中遇到英文时，利用空格和标点将英文单词取出来，同时也会对其转全小写处理。...
7. ElasticSearch——分词（自定义扩展词库）
武汉小喽啰
02-02 771
IK分词提供的两个分词器，并不支持一些新的词汇，有时候也不能满足实际业务需要，这时候，我们可以定义自定义词库来完成目标。 1. nginx新建词库 1）在nginx新建一个文件夹es，将ik所需要使用的资源放在里面 如图： 2）在es目录下，新建一个文件fenci.txt，将需要分词的内容放在该文件中。 cd es vi fenci.txt 输入如下词语 保存 3）将es移动到html目录下，因为nginx默认访问的是html目录 mv es ./html/ 4）访...
ElasticSearch的中文分词器及自定义扩展词典
mameng1988的博客
04-05 4443
因为ElasticSearch默认的中文分词器对中文分词不是很友好，会将中文词语拆分成一个个中文的汉字，因此引入中文分词器：es-ik插件。 官方网站下载：https://github.com/medcl/elasticsearch-analysis-ik/releases 注意：es-ik分词插件版本一定要和es安装的版本对应 ...
elasticsearch7.3版本已经不需要额外安装中文分词插件了
大飞笔记（www.it100.site）
08-23 8294
本文已同步至我的个人小站：http://www.it100.site/content/2.html 经过测试，elasticsearch7.3版本已经不需要额外安装中文分词插件了，它自带的分词器已经很好的支持中文分词了。 因为我们是做会计证书的，所以我搜索了会计证书做测试，请求头如下 请求json串 { "query" : { "bool" : { ...
kibana-7.4.2-windows-x86_64
09-10
在Windows 64位操作系统上使用Kibana-7.4.2可以帮助用户更轻松地搭建和管理数据可视化的工作环境。 Kibana-7.4.2可以通过官方网站或GitHub等渠道进行下载和安装。一旦安装完成，用户可以通过浏览器访问Kibana的Web...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

victor-维克特

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值