elasticsearch小记之——中文分词

最新推荐文章于 2024-01-18 02:11:26 发布
最新推荐文章于 2024-01-18 02:11:26 发布
阅读量1.7k 收藏
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oryjk/article/details/50742739
版权

在Elasticsearch中，内置了很多分词器（analyzers），但默认的分词器对中文的支持都不是太好。所以需要单独安装插件来支持，比较常用的是中科院 ICTCLAS的smartcn和IKAnanlyzer效果还是不错的，但是目前 IKAnanlyzer 还不支持最新的Elasticsearch2.2.0版本，但是smartcn中文分词器默认官方支持，它提供了一个中文或混合中文英文文本的分析器。支持最新的 2.2.0版本版本。但是 smartcn 不支持自定义词库，作为测试可先用一下。后面的部分介绍如何支持最新的版本。

smartcn

安装分词： plugin install analysis - smartcn

卸载： plugin remove analysis - smartcn

测试：

请求：POST http://127.0.0.1:9200/_analyze/

{
  "analyzer": "smartcn",
  "text": "联想是全球最大的笔记本厂商"
}

返回结果：

{
    "tokens": [
        {
            "token": "联想", 
            "start_offset": 0, 
            "end_offset": 2, 
            "type": "word", 
            "position": 0
        }, 
        {
            "token": "是", 
            "start_offset": 2, 
            "end_offset": 3, 
            "type": "word", 
            "position": 1
        }, 
        {
            "token": "全球", 
            "start_offset": 3, 
            "end_offset": 5, 
            "type": "word", 
            "position": 2
        }, 
        {
            "token": "最", 
            "start_offset": 5, 
            "end_offset": 6, 
            "type": "word", 
            "position": 3
        }, 
        {
            "token": "大", 
            "start_offset": 6, 
            "end_offset": 7, 
            "type": "word", 
            "position": 4
        }, 
        {
            "token": "的", 
            "start_offset": 7, 
            "end_offset": 8, 
            "type": "word", 
            "position": 5
        }, 
        {
            "token": "笔记本", 
            "start_offset": 8, 
            "end_offset": 11, 
            "type": "word", 
            "position": 6
        }, 
        {
            "token": "厂商", 
            "start_offset": 11, 
            "end_offset": 13, 
            "type": "word", 
            "position": 7
        }
    ]
}

作为对比，我们看一下标准的分词的结果，在请求中巴smartcn，换成standard

然后看返回结果：

{
    "tokens": [
        {
            "token": "联", 
            "start_offset": 0, 
            "end_offset": 1, 
            "type": "<IDEOGRAPHIC>", 
            "position": 0
        }, 
        {
            "token": "想", 
            "start_offset": 1, 
            "end_offset": 2, 
            "type": "<IDEOGRAPHIC>", 
            "position": 1
        }, 
        {
            "token": "是", 
            "start_offset": 2, 
            "end_offset": 3, 
            "type": "<IDEOGRAPHIC>", 
            "position": 2
        }, 
        {
            "token": "全", 
            "start_offset": 3, 
            "end_offset": 4, 
            "type": "<IDEOGRAPHIC>", 
            "position": 3
        }, 
        {
            "token": "球", 
            "start_offset": 4, 
            "end_offset": 5, 
            "type": "<IDEOGRAPHIC>", 
            "position": 4
        }, 
        {
            "token": "最", 
            "start_offset": 5, 
            "end_offset": 6, 
            "type": "<IDEOGRAPHIC>", 
            "position": 5
        }, 
        {
            "token": "大", 
            "start_offset": 6, 
            "end_offset": 7, 
            "type": "<IDEOGRAPHIC>", 
            "position": 6
        }, 
        {
            "token": "的", 
            "start_offset": 7, 
            "end_offset": 8, 
            "type": "<IDEOGRAPHIC>", 
            "position": 7
        }, 
        {
            "token": "笔", 
            "start_offset": 8, 
            "end_offset": 9, 
            "type": "<IDEOGRAPHIC>", 
            "position": 8
        }, 
        {
            "token": "记", 
            "start_offset": 9, 
            "end_offset": 10, 
            "type": "<IDEOGRAPHIC>", 
            "position": 9
        }, 
        {
            "token": "本", 
            "start_offset": 10, 
            "end_offset": 11, 
            "type": "<IDEOGRAPHIC>", 
            "position": 10
        }, 
        {
            "token": "厂", 
            "start_offset": 11, 
            "end_offset": 12, 
            "type": "<IDEOGRAPHIC>", 
            "position": 11
        }, 
        {
            "token": "商", 
            "start_offset": 12, 
            "end_offset": 13, 
            "type": "<IDEOGRAPHIC>", 
            "position": 12
        }
    ]
}

从中可以看出，基本上不能使用，就是一个汉字变成了一个词了。

IKAnanlyzer支持2.2.0版本

目前github上最新的版本只支持Elasticsearch2.1.1,路径为https://github.com/medcl/elasticsearch-analysis-ik。但现在最新的Elasticsearch已经到2.2.0了所以要经过处理一下才能支持。

1、下载源码，下载完后解压到任意目录，然后修改elasticsearch-analysis-ik-master目录下的pom.xml文件。找到<elasticsearch.version>行，然后把后面的版本号修改成2.2.0。

2、编译代码mvn package。

3、编译完成后会在target\releases生成elasticsearch-analysis-ik-1.7.0.zip文件。

4、解压文件到Elasticsearch/plugins目录下。

5、修改配置文件增加一行：index.analysis.analyzer.ik.type : "ik"

6、重启 Elasticsearch。

测试：和上面的请求一样，只是把分词替换成ik

返回的结果：

{
    "tokens": [
        {
            "token": "联想", 
            "start_offset": 0, 
            "end_offset": 2, 
            "type": "CN_WORD", 
            "position": 0
        }, 
        {
            "token": "全球", 
            "start_offset": 3, 
            "end_offset": 5, 
            "type": "CN_WORD", 
            "position": 1
        }, 
        {
            "token": "最大", 
            "start_offset": 5, 
            "end_offset": 7, 
            "type": "CN_WORD", 
            "position": 2
        }, 
        {
            "token": "笔记本", 
            "start_offset": 8, 
            "end_offset": 11, 
            "type": "CN_WORD", 
            "position": 3
        }, 
        {
            "token": "笔记", 
            "start_offset": 8, 
            "end_offset": 10, 
            "type": "CN_WORD", 
            "position": 4
        }, 
        {
            "token": "笔", 
            "start_offset": 8, 
            "end_offset": 9, 
            "type": "CN_WORD", 
            "position": 5
        }, 
        {
            "token": "记", 
            "start_offset": 9, 
            "end_offset": 10, 
            "type": "CN_CHAR", 
            "position": 6
        }, 
        {
            "token": "本厂", 
            "start_offset": 10, 
            "end_offset": 12, 
            "type": "CN_WORD", 
            "position": 7
        }, 
        {
            "token": "厂商", 
            "start_offset": 11, 
            "end_offset": 13, 
            "type": "CN_WORD", 
            "position": 8
        }
    ]
}

从中可以看出，两个分词器分词的结果还是有区别的。

扩展词库，在config\ik\custom下在mydict.dic中增加需要的词组，然后重启Elasticsearch，需要注意的是文件编码是 UTF-8 无BOM格式编码 。

比如增加了赛克蓝德单词。然后再次查询：

请求：POST http://127.0.0.1:9200/_analyze/

参数：

{
  "analyzer": "ik",
  "text": "赛克蓝德是一家数据安全公司"
}

返回结果：

{
    "tokens": [
        {
            "token": "赛克蓝德", 
            "start_offset": 0, 
            "end_offset": 4, 
            "type": "CN_WORD", 
            "position": 0
        }, 
        {
            "token": "克", 
            "start_offset": 1, 
            "end_offset": 2, 
            "type": "CN_WORD", 
            "position": 1
        }, 
        {
            "token": "蓝", 
            "start_offset": 2, 
            "end_offset": 3, 
            "type": "CN_WORD", 
            "position": 2
        }, 
        {
            "token": "德", 
            "start_offset": 3, 
            "end_offset": 4, 
            "type": "CN_CHAR", 
            "position": 3
        }, 
        {
            "token": "一家", 
            "start_offset": 5, 
            "end_offset": 7, 
            "type": "CN_WORD", 
            "position": 4
        }, 
        {
            "token": "一", 
            "start_offset": 5, 
            "end_offset": 6, 
            "type": "TYPE_CNUM", 
            "position": 5
        }, 
        {
            "token": "家", 
            "start_offset": 6, 
            "end_offset": 7, 
            "type": "COUNT", 
            "position": 6
        }, 
        {
            "token": "数据", 
            "start_offset": 7, 
            "end_offset": 9, 
            "type": "CN_WORD", 
            "position": 7
        }, 
        {
            "token": "安全", 
            "start_offset": 9, 
            "end_offset": 11, 
            "type": "CN_WORD", 
            "position": 8
        }, 
        {
            "token": "公司", 
            "start_offset": 11, 
            "end_offset": 13, 
            "type": "CN_WORD", 
            "position": 9
        }
    ]
}
你们王哥
关注
专栏目录
实战技术！Elasticsearch 2.2.0 分词篇：中文分词
weixin_41663412的博客
03-21 178
个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈 在Elasticsearch中，内置了很多分词器（analyzers），但默认的分词器对中文的支持都不是太好。所以需要单独安装插件来支持，比较常用的是中科院 ICTCLAS的smartcn和IKAnanlyzer效果还是不错的，但是目前IKAnanlyzer还不支持最新的Elasticsearch2.2.0版本，但...
Elasticsearch 2.2.0 分词篇：中文分词
weixin_33832340的博客
02-19 116
2019独角兽企业重金招聘Python工程师标准>>> ...
Elasticsearch设置中文分词
小龙在线
10-19 4605
安装分词插件在ES安装目录下：./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.6.1/elasticsearch-analysis-ik-5.6.1.zip重启ES添加索引和类型在Kibana Sense下http://localhos
elasticsearch设置中文分词
Su_若若的博客
09-26 4081
由于elasticsearch基于lucene，所以天然地就多了许多lucene上的中文分词的支持，比如 IK, Paoding, MMSEG4J等lucene中文分词原理上都能在elasticsearch上使用。当然前提是有elasticsearch的插件。 至于插件怎么开发，这里有一片文章介绍：http://log.medcl.net/item/2011/07/diving-into-elast
Elasticsearch（4）配置中文分词器
dulei17816的博客
06-17 664
文章目录下载安装扩展本地词库 下载 IK 的版本要与 Elasticsearch 的版本一致，因此下载 7.1.1 版本。 方式一： 百度网盘 下载，提取码为 tvdr。 方式二： GitHub 上下载。 安装 将解压后的 IK 文件夹，放入 elasticsearch 文件夹下的 plugins/ik 目录下。 启动 Elasticsearch 后，看到下图，表示启动成功。 扩展本地词库 在 p...
windows版本ES7.17.3中文分词器elasticsearch-analysis-ik-7.17.3 .zip
最新发布
02-05
用于elasticsearch7.17.3这个版本的ik中文分词器，考虑到官网有时网络不稳定下载不下来，这里特意上传，方便大家使用； 目录结构如下： config -- 文件夹 plugin-security.policy plugin-descriptor.properties ...
elasticsearch7.17.9版本分词器插件安装包
11-13
分词器是Elasticsearch中的核心组件之一，负责将输入的文本分解为可索引的基本单元——词语。这个插件特别引入了IK（Intelligent Chinese）分词器，它是针对中文语言进行优化的智能分词工具。IK分词器能够有效处理...
elasticsearch7.17.8版本分词器插件安装包
11-13
IK Analyzer是一个强大的、可扩展的中文分词工具，专为Elasticsearch设计，支持自定义词典和灵活的分词策略。 **二、准备工作** 在安装分词器插件之前，确保你的Elasticsearch 7.17.8已经正确安装并运行。同时，...
7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器
08-07
elasticsearch-analysis-ik 是一个常用的中文分词器，在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个主要特点： 中文分词：elasticsearch-analysis-ik 是基于...
elasticsearch7.17.11版本分词器插件安装包
11-13
IK分词器（Intelligent Chinese Analyzer for Elasticsearch）是为Elasticsearch设计的一款强大、灵活且高效的中文分词插件。它支持自定义扩展词典、同义词扩展、动态词典加载等功能，能更好地适应中文的复杂语境。 ...
Elasticsearch（中文分词）安装、基本操作使用
Csea的博客
06-11 1344
文章目录概念倒排索引安装文件夹说明修改配置可视化界面可视化使用创建索引查看健康状态信息删除索引查看索引mapppings创建mapping分词测试修改mappgings操作文档新增文档删除文档修改文档查询文档查询文档存不存在文档乐观锁分词测试分词指定索引分词standardsimplewhitespacestopkeyword中文分词器-ikik_max_wordik_smart自定义中文词库 概念 ES -> 数据库 索引 index -> 表 文档 document -> 每一条
ElasticSearch中文分词（二）
qq_26896085的博客
02-13 293
1、中文分词 中文分词的难点在于，在汉语中没有明显的词汇分界点，如在英语中，空格可以作为分隔符，如果分隔不正确就会造成歧义。 常用中文分词器，IK、jieba、THULAC等，推荐使用IK分词器。 IK分词器 Elasticsearch插件地址:https://github.com/medcl/elasticsearch-analysis-ik #安装方法：将下载到的elasticse...
ElasticSearch中文分词（一）
qq_26896085的博客
02-13 266
注：以下的内置分词器只是对中文几乎不适用，了解。下篇记录的IK分词器是在实际开发中使用的 1、什么是分词 分词就是指将一个文本转化成一系列单词的过程，也叫文本分析，在Elasticsearch中称之为Analysis。 举例：我是中国人 --> 我/是/中国人 2、分词api 指定分词器进行分词 POST http://192.168.142.128:9200/_analyze ...
ES007-Elasticsearch中文分词集成
艾文
10-13 1476
1、elasticsearch官方 只提供smartcn这个中文分词插件，效果不是很好 2、引入分词器前命令行下测试 curl 'http://localhost:9200/jf/_analyze?pretty=true' -d '{"text":"京东商城"}' 现象是按照每个单词进行要给分词 3、集成IK分词工具 3.1：下载es的IK插件https://githu
ElasticSearch与Vue的整合
AI天才研究院
01-18 1034
1.背景介绍 Elasticsearch是一个开源的搜索和分析引擎，基于Lucene库，可以实现文本搜索、数据分析、数据可视化等功能。Vue是一个用于构建用户界面的渐进式框架。在现代Web应用中，Elasticsearch和Vue都是非常常见的技术选择。 Elasticsearch与Vue的整合，可以让我们更好地构建一个高性能、可扩展的搜索功能。在本文中，我们将讨论Elasticsearch与...
Vue按条件查询elasticsearch(es)数据
m0_67391121的博客
04-27 1794
1、让elasticsearch支持跨域 echo "http.cors.enabled: true" >> 向elasticsearch.yaml echo "http.cors.allow-origin: /.*/" >>向elasticsearch.yaml 2、安装axios、编写js npm install axios 3、编写js let api = "http://www.xxx.com:9200/test/_search"; Axios({ method: '
Vue连接ElasticSearch使用search功能
m0_56252291的博客
04-06 2645
client.search({ index: 'recommender', //elasticSearch的索引 type: 'Movie', //索引储存的数据类型 body: { query: { match: { name: query //匹配的字段 } } } }..
es（Elasticsearch）+springboot(后台)+vue(前台)整合
m0_44978502的博客
04-29 1488
这里写目录标题使用elasticsearch做数据服务查询：springboot(后台)vue(前台)整合 使用elasticsearch做数据服务查询： 详细请见 https://blog.csdn.net/weixin_43303530/article/details/103082585 springboot(后台) 详细请见 https://blog.csdn.net/weixin_4330...
使用springboot整合elasticsearch+Vue实现数据查询
weixin_43303530的博客
11-15 4168
使用elasticsearch做数据服务查询： 实现springboot整合elasticsearchhe和vue做数据查询 开发工具 后台开发：Idea； 后台测试：Postman； 前端开发：VScod；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值