elasticsearch分词器

于 2024-08-01 08:03:40 发布
阅读量871 收藏 5
点赞数 17
分类专栏： ElasticSearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45796594/article/details/140837465
版权

标准分词器

效果测试：

http://127.0.0.1:9200/_analyze?analyzer=standard&pretty=true&text=我是程序员

分词结果：

{

  "tokens" : [

    {

      "token" : "我",

      "start_offset" : 0,

      "end_offset" : 1,

      "type" : "<IDEOGRAPHIC>",

      "position" : 0

    },

    {

      "token" : "是",

      "start_offset" : 1,

      "end_offset" : 2,

      "type" : "<IDEOGRAPHIC>",

      "position" : 1

    },

    {

      "token" : "程",

      "start_offset" : 2,

      "end_offset" : 3,

      "type" : "<IDEOGRAPHIC>",

      "position" : 2

    },

    {

      "token" : "序",

      "start_offset" : 3,

      "end_offset" : 4,

      "type" : "<IDEOGRAPHIC>",

      "position" : 3

    },

    {

      "token" : "员",

      "start_offset" : 4,

      "end_offset" : 5,

      "type" : "<IDEOGRAPHIC>",

      "position" : 4

    }

  ]

}

IK分词器简介

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。

IK分词器3.0的特性如下：
1）采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。
2）采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。
3）对中英联合支持不是很好,在这方面的处理比较麻烦.需再做一次查询,同时是支持个人词条的优化的词典存储，更小的内存占用。
4）支持用户词典扩展定义。
5）针对Lucene全文检索优化的查询分析器IKQueryParser；采用歧义分析算法优化查询关键字的搜索排列组合，能极大的提高Lucene检索的命中率。

IK分词器安装

(1)下载对应版本ik分词插件，并上传到服务器/tdx/es/ 目录
https://github.com/medcl/elasticsearch-analysis-ik/releases/
(2)安装

[elk@localhost es] cd /es/
[elk@localhost es] unzip elasticsearch-analysis-ik-5.2.0.zip -d ./elasticsearch-5.2.0/plugins/ik

(3). 然后重启 es即可

IK分词器测试

IK提供了两个分词算法ik_smart 和 ik_max_word
其中 ik_smart 为最少切分，ik_max_word为最细粒度划分
我们分别来试一下
1）最小切分：在浏览器地址栏输入地址

http://127.0.0.1:9200/_analyze?analyzer=ik_smart&pretty=true&text=我是程序员

输出的结果为：

{

  "tokens" : [

    {

      "token" : "我",

      "start_offset" : 0,

      "end_offset" : 1,

      "type" : "CN_CHAR",

      "position" : 0

    },

    {

      "token" : "是",

      "start_offset" : 1,

      "end_offset" : 2,

      "type" : "CN_CHAR",

      "position" : 1

    },

    {

      "token" : "程序员",

      "start_offset" : 2,

      "end_offset" : 5,

      "type" : "CN_WORD",

      "position" : 2

    }

  ]

}

2）最细切分：在浏览器地址栏输入地址

http://127.0.0.1:9200/_analyze?analyzer=ik_max_word&pretty=true&text=我是程序员

输出的结果为：

{

  "tokens" : [

    {

      "token" : "我",

      "start_offset" : 0,

      "end_offset" : 1,

      "type" : "CN_CHAR",

      "position" : 0

    },

    {

      "token" : "是",

      "start_offset" : 1,

      "end_offset" : 2,

      "type" : "CN_CHAR",

      "position" : 1

    },

    {

      "token" : "程序员",

      "start_offset" : 2,

      "end_offset" : 5,

      "type" : "CN_WORD",

      "position" : 2

    },

    {

      "token" : "程序",

      "start_offset" : 2,

      "end_offset" : 4,

      "type" : "CN_WORD",

      "position" : 3

    },

    {

      "token" : "员",

      "start_offset" : 4,

      "end_offset" : 5,

      "type" : "CN_CHAR",

      "position" : 4

    }

  ]

}

自定义词典

  1. 在{es}/plugins/ik/config下，创建：
vim custom.dic
  1. 并且添加内容：

慕课网

骚年

3.配置自定义扩展词典

vim IKAnalyzer.cfg.xml

配置如下

<entry key="ext_dict">custom.dic</entry>

  1. 重启es

  2. 测试

POST /_analyze

{

     "analyzer": "ik_max_word",

     "text": "一起学习吧！"

}

远程词典

elasticsearch ik分词 远程自动更新自定义词典 需要满足两个条件：
1.GET请求返回词典列表。
2. nginx 服务器 HEAD请求响应头返回Last-Modified和（或）ETag。
根据这两个条件，可以分为直接访问资源文件和访问接口两种方式。

文件
以文件方式更新词典，将词放在一个utf8编码的文件里，将文件放在nginx或其他server下，当文件修改时http server会在客户端请求文件时自动返回响应的Last-Modified和ETag。在analysis-ik检测到词典更新时会自动更新。
以nginx为例，假设词典文件名为mydic.dic。前提条件如nginx配置、IKAnalyzer.cfg.xml配置、重启等步骤此处省略，当词典为空文件时。

配置

vim /usr/local/elasticsearch/plugins/ik/config/IKAnalyzer.cfg.xml

<?xml version="1.0" encoding="UTF-8"?>

<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">

<properties>

        <comment>IK Analyzer 扩展配置</comment>

        <!--用户可以在这里配置自己的扩展字典 -->

        <entry key="ext_dict"></entry>

         <!--用户可以在这里配置自己的扩展停止词字典-->

        <entry key="ext_stopwords"></entry>

        <!--用户可以在这里配置远程扩展字典 -->

        <entry key="remote_ext_dict">http://172.168.10.48/dict/brand.dic;http://172.168.10.48/dict/attr.dic;http://172.168.10.48/dict/category.dic</entry>

        <!--用户可以在这里配置远程扩展停止词字典-->

        <entry key="remote_ext_stopwords">http://172.168.10.48/dict/stop.dic</entry>

</properties>

日志

[root@k8s-node3 log]# tail -f beta_elasticsearch.log

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 比较仪台架

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 其它工业用水处理设备

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 家用垃圾桶

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 6.3MM系列十字旋具头套筒

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 除污器

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 双色橡塑柄加力一字螺丝批

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] SDS信息栏

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 防盗锁芯

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 分析天平

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 真空计量

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 光柄扎线钳

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 双金属复合管帽

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 恒温槽

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 鸡尾锯

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 喉箍

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 热风焊枪

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 管端突缘

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 动力工具及耗材

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 橡胶水带

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 密封圈、条

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 普通压力表配件

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 135°塑料弯头

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 台垫

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 井架逃生装置

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 精密恒温水槽

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 塑料量筒

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 12.5MM系列英制十二角套筒

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 钢制门锁体

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 防尘连接管

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 结构粘接胶

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 浇铸用耐火砖

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 沥青烘干清漆

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 防腐活接头

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 加样槽

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 口罩

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 绝缘公制六角套筒

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 桩工机械

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 导热油锅炉

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] 摇式给料机

[2021-02-05T11:16:03,862][INFO ][o.w.a.d.Dictionary       ] [node-48] [Dict Loading] http://172.168.10.48/dict/stop.dic

[2021-02-05T11:16:03,864][INFO ][o.w.a.d.Dictionary       ] [node-48] [

[2021-02-05T11:16:03,864][INFO ][o.w.a.d.Dictionary       ] [node-48] ]

[2021-02-05T11:16:03,864][INFO ][o.w.a.d.Dictionary       ] [node-48] {

[2021-02-05T11:16:03,864][INFO ][o.w.a.d.Dictionary       ] [node-48] }

[2021-02-05T11:16:03,864][INFO ][o.w.a.d.Dictionary       ] [node-48] &

[2021-02-05T11:16:03,864][INFO ][o.w.a.d.Dictionary       ] [node-48] *

[2021-02-05T11:16:03,864][INFO ][o.w.a.d.Dictionary       ] [node-48] /

[2021-02-05T11:16:03,864][INFO ][o.w.a.d.Dictionary       ] [node-48] \

[2021-02-05T11:16:03,864][INFO ][o.w.a.d.Dictionary       ] [node-48] reload ik dict finished
diff_dba
关注
  • 17
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
IK分词器
weixin_70721552的博客
09-24 2452
ik分词器
ElastIcSearch分词器
weixin_45688203的博客
03-30 2159
ElastIcSearch分词器 Analysis 和 Analyzer Analysis： 文本分析是把全文本转换一系列单词(term/token)的过程，也叫分词(Analyzer)。Analysis是通过Analyzer来实现的。分词就是将文档通过Analyzer分成一个一个的Term(关键词查询),每一个Term都指向包含这个Term的文档。 Analyzer 组成 ​ 注意: 在ES中默认使用标准分词器: StandardAnalyzer 特点: 中文单字分词 单词分词 我是中国人 this
ElasticSearch专题(五)-IK分词器和集成使用
专业的计算机毕业设计指南
11-29 550
1.查询存在问题分析 在进行字符串查询时，我们发现去搜索"搜索服务器"和"钢索"都可以搜索到数据； 而在进行词条查询时，我们搜索"搜索"却没有搜索到数据； 究其原因是ElasticSearch的标准分词器导致的，当我们创建索引时，字段使用的是标准分词器： { "mappings": { "article": { "properties": { ...
Elasticsearch介绍、安装以及IK分词器 --学习笔记
最新发布
m0_71386740的博客
07-19 1835
Elasticsearch 是一个高度可扩展的开源全文搜索和分析引擎。它允许你以极快的速度存储、搜索和分析大量数据。Elasticsearch 基于 Apache Lucene 构建，提供了一个分布式、多租户能力的全文搜索引擎，带有 HTTP web 接口和无模式 JSON 文档。这意味着你可以用 Elasticsearch 存储、搜索、分析的数据种类非常广泛，几乎可以适用于任何类型的用例。
elasticsearch 使用 ik分词器
gyk163的博客
04-19 1074
elasticsearch 中文分词器 ik
elasticsearch使用ik分词器
lwy572039941的博客
08-10 154
1.下载对应es版本的IK 地址：https://github.com/medcl/elasticsearch-analysis-ik/releases 2.解压–>将文件复制到 es的安装目录/plugin/ik下面即可，完成之后效果如下： 3.重启ElasticSearch 4.测试效果 未使用ik分词器的时候测试分词效果： POST book/_analyze { "text": "我是中国人" } //结果是： { "tokens": [ { "token": "
Elasticsearch进阶篇(三)：ik分词器的使用与项目应用
后端开发
04-21 4361
本文详细介绍了在Elasticsearch中安装、配置和使用IK分词器的过程。首先，它提供了两种安装方式：使用已编译的包文件或者源代码编译。然后，说明了如何将分词器安装到Elasticsearch中，并启动Elasticsearch来验证安装是否成功。接下来，介绍了IK分词器提供的两种主要分词模式：细粒度分词模式（ik_max_word）和智能分词模式（ik_smart），并展示了它们的使用示例。最后，它详细解释了IK分词器的配置文件作用，包括主要的配置文件和自定义词库的使用方法，并提供了相关的参考链接
Elasticsearch之分词器
我能在河边钓一整天的鱼
04-15 357
目录 什么是分词 分词api 指定分词器进行分词 指定索引分词 内置分词 中文分词 ik分词器的热更新 什么是分词 分词就是指将一个文本转化成一系列单词的过程，也叫文本分析，在Elasticsearch中称之为Analysis。 举例：我是中国人 --> 我/是/中国人 分词api 指定分词器进行分词 POST http...
elasticsearch7.17.11版本分词器插件安装包
11-13
**Elasticsearch 7.17.11 分词器插件详解** Elasticsearch（简称ES）是一款基于Lucene的分布式、RESTful搜索引擎，广泛应用于日志收集、数据分析等领域，是ELK（Elasticsearch、Logstash、Kibana）堆栈的重要组成...
IK分词器elasticsearch-analysis-ik-7.17.16
12-24
IK分词器是针对Elasticsearch设计的一款强大的中文分词插件，其全称为"elasticsearch-analysis-ik"。在Elasticsearch中，分词器的作用至关重要，它负责将用户输入的文本进行词汇切分，以便进行后续的搜索和分析操作...
elasticsearch-analysis-ik 7.10.0 分词器
01-10
**Elasticsearch Analysis IK 7.10.0 分词器详解** Elasticsearch 分词器是搜索引擎核心组件之一，负责将输入的文本拆分成可搜索的独立单元——词语。在中文环境中，这个过程尤为重要，因为中文句子由多个汉字组成...
elasticsearch7.17.10版本分词器插件安装包
11-13
**Elasticsearch 7.17.10 分词器插件安装详解** 在日志收集和数据分析领域，Elasticsearch（简称ES）扮演着重要的角色。作为一个强大的全文搜索引擎，Elasticsearch允许用户通过简单的API进行数据索引、搜索、分析...
【ES】--Elasticsearch的分词器详解
寻梦友的博客
02-12 2018
最近项目需求，针对客户提出搜索引擎业务要做到自定义个性化，如输入简体或繁体能能够互相查询、有的关键词不能被分词搜索等等。为更好解决这些问题，“分词器”的原理和使用至关重要。
ElasticSearch学习：ik分词器
FeiChangWuRao的博客
02-15 2240
IK分词器是关于中文的一个分词器，有IK分词器自然还有别的分词器，比如说pinyin分词器针对的是拼音分词，letter针对的是letter分词等，ES有一个很好的方式就是通过插件的形式来扩展这些功能。 一 IK分词器的下载和安装 其实安装很方便，首先要知道自己的ELK都是什么版本，然后到IK分词器的github地址上搜索相对应的版本。 IK分词器github地址 下载到对应的IK分词器版本，剩下的就是如何安装分词器。很简单就是对应的包解压到ElasticSearch的安装路径下plugins 文件夹下。
Elasticsearch 入门到高手的成长阶梯-Elasticsearch集成中文分词IK
冯立彬的博客
06-12 1118
​​​​​​1、IK的介绍 Elasticsearch IK分析器插件是国内非常著名的开源中文分析器插件，它是基于国人所开发的另一款基于Luence 的IK分词器做的扩展，以达到对Elasticsearch的支持。Elasticsearch IK分词器是Java语言编写的，在Elasticsearch 0.16的时候就已经开始对其支持了，涵盖了Elasticsearch后续各版本的支持。 它包...
04.ElasticSearch之IK分词器的安装与使用
潮汐先生的专栏
04-28 1601
ElasticSearch之IK分词器的安装与使用前言安装离线安装在线安装ik分词器测试扩展（停用）词（典）测试数据概念配置词典1.修改配置文件2.新建词典3.自定义内容4.重新启动ES5.测试远程词典1.新建项目2.启动项目3.配置远程扩展词典4.重启ES5.测试 前言 ElasticSearch中默认使用标准分词器进行分词，这种方式不适用于中文语法，所以对中文查询不友好。IK分词器是一款适用于中文语法，对中文分词、查询友好支持的一款分词器，下面我们来介绍一下IK分词器的安装与使用 安装 IK分词器不是E
elasticSearch之ik分词器
h1774733219的博客
11-26 1747
安装好ik分词器后，可以测试分词效果 分词器包括两种：ik_smart、ik_max_word ik_smart： GET _analyze { "text": "中华人民共和国国歌", "analyzer": "ik_smart" } 会将"中华人民共和国国歌"分成"中华人民共和国"、“国歌” ik_max_word：分词的细粒度更高 GET _analyze { "text": "中华人民共和国国歌", "analyzer": "ik_max_word" } 结果： { "
Elasticsearch中ik分词器的使用
weixin_34143774的博客
05-21 603
1.Elasticsearch默认分词器 我在之前的文章中介绍过 Elasticsearch的安装和使用，这里我们使用Kibina作为工具来操作es，可以使用es的_analyze来分析分词器的分词结果。 ES默认的分词器为英文分词器，对英文句子能做到比较好的分词，我们看一个例子。当输入以下请求时，对"What's your name"句子进行分词，能看到将几个词都分了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

diff_dba

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值