elasticSearch分词

已于 2022-04-06 20:05:24 修改
阅读量193 收藏
点赞数
文章标签： elasticsearch ik分词器
于 2021-08-30 16:30:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40964170/article/details/119997144
版权

Elasticsearch IK分词器 中文分词 安装教程 测试
关键词由CSDN通过智能技术生成

一、安装 ik 分词器

官方文档

语言分词默认使用标准分词器

在这里插入图片描述

demo测试

POST _analyze
{
   #默认采用标准分词器 standard
  "analyzer": "standard",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

返回结果

{
  "tokens" : [
    {
      "token" : "the",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "2",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<NUM>",
      "position" : 1
    },
    {
      "token" : "quick",
      "start_offset" : 6,
      "end_offset" : 11,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "brown",
      "start_offset" : 12,
      "end_offset" : 17,
      "type" : "<ALPHANUM>",
      "position" : 3
    },
    {
      "token" : "foxes",
      "start_offset" : 18,
      "end_offset" : 23,
      "type" : "<ALPHANUM>",
      "position" : 4
    },
    {
      "token" : "jumped",
      "start_offset" : 24,
      "end_offset" : 30,
      "type" : "<ALPHANUM>",
      "position" : 5
    },
    {
      "token" : "over",
      "start_offset" : 31,
      "end_offset" : 35,
      "type" : "<ALPHANUM>",
      "position" : 6
    },
    {
      "token" : "the",
      "start_offset" : 36,
      "end_offset" : 39,
      "type" : "<ALPHANUM>",
      "position" : 7
    },
    {
      "token" : "lazy",
      "start_offset" : 40,
      "end_offset" : 44,
      "type" : "<ALPHANUM>",
      "position" : 8
    },
    {
      "token" : "dog's",
      "start_offset" : 45,
      "end_offset" : 50,
      "type" : "<ALPHANUM>",
      "position" : 9
    },
    {
      "token" : "bone",
      "start_offset" : 51,
      "end_offset" : 55,
      "type" : "<ALPHANUM>",
      "position" : 10
    }
  ]
}

默认支持英文的分词，中文需要下载 ik分词器，否则就会出现每一个中文字单独分开，例如

POST _analyze
{
  "analyzer": "standard",
  "text": "皮蛋不是蛋"
}

返回结果

{
  "tokens" : [
    {
      "token" : "皮",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "蛋",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "不",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    {
      "token" : "是",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "<IDEOGRAPHIC>",
      "position" : 3
    },
    {
      "token" : "蛋",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    }
  ]
}

安装步骤

下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases?after=v6.4.2

1、进入 es 容器内部 plugins 目录

先下载好 wget 命令

yum install wget

wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.4.2/elasticsearch-anal ysis-ik-7.4.2.zip

在这里插入图片描述
或者直接将解压后的ik分词器都放在ik包里，用 xftp将ik分词器压缩包传输进来
在这里插入图片描述

2、更改文件夹权限

//可读、可写、可执行
[root@localhost plugins]# chmod -R 777 ik/

查看ik包

[root@localhost ik]# ll
total 1432
-rwxrwxrwx. 1 root root 263965 Jun 17 07:02 commons-codec-1.9.jar
-rwxrwxrwx. 1 root root  61829 Jun 17 07:02 commons-logging-1.2.jar
drwxrwxrwx. 2 root root   4096 Jun 17 08:58 config
-rwxrwxrwx. 1 root root  54643 Jun 17 07:02 elasticsearch-analysis-ik-7.4.2.jar
-rwxrwxrwx. 1 root root 736658 Jun 17 07:02 httpclient-4.5.2.jar
-rwxrwxrwx. 1 root root 326724 Jun 17 07:02 httpcore-4.4.4.jar
-rwxrwxrwx. 1 root root   1805 Jun 17 07:02 plugin-descriptor.properties
-rwxrwxrwx. 1 root root    125 Jun 17 07:02 plugin-security.policy
[root@localhost ik]#

进入控制台，到容器内部，也会查看到有ik分词器包

[root@localhost plugins]# docker exec -it fe709eb23b01 /bin/bash
[root@fe709eb23b01 elasticsearch]# ls
LICENSE.txt  NOTICE.txt  README.textile  bin  config  data  jdk  lib  logs  modules  plugins
[root@fe709eb23b01 elasticsearch]# cd plugins/
[root@fe709eb23b01 plugins]# ls
ik
[root@fe709eb23b01 plugins]#

查看是否安装成功ik分词器

[root@fe709eb23b01 elasticsearch]# cd bin
[root@fe709eb23b01 bin]# ls
elasticsearch           elasticsearch-env       elasticsearch-plugin           elasticsearch-sql-cli-7.4.2.jar  x-pack-watcher-env
elasticsearch-certgen   elasticsearch-enve      elasticsearch-saml-metadata    elasticsearch-syskeygen
elasticsearch-certutil  elasticsearch-keystore  elasticsearch-setup-passwords  elasticsearch-users
elasticsearch-cli       elasticsearch-migrate   elasticsearch-shard            x-pack-env
elasticsearch-croneval  elasticsearch-node      elasticsearch-sql-cli          x-pack-security-env
[root@fe709eb23b01 bin]# elasticsearch-plugin list
ik
[root@fe709eb23b01 bin]# pwd
/usr/share/elasticsearch/bin
[root@fe709eb23b01 bin]#

二、测试ik分词器

没安装ik分词器之前，默认是用 standard分词器，中文会被拆分成每一个单独的汉字，安装ik后，可以用ik_smart 和 ik_max_word，会自动分词

ik_smart

POST _analyze
{
  "analyzer": "ik_smart",
  "text": "我是中国人"
}

返回结果

{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "是",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "中国人",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    }
  ]
}

ik_max_word

POST _analyze
{
  "analyzer": "ik_max_word",
  "text": "我是中国人"
}

返回结果

{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "是",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "中国人",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "中国",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "国人",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 4
    }
  ]
}

三、自定义分词

有的词语被ik分词器收集到词库了，有的没有就会被拆分成单独的词，如何自定义分词呢

详细分词流程参考
https://blog.csdn.net/weixin_40964170/article/details/117996289

廉小雨
关注
Elasticsearch-分词
weixin_54982854的博客
05-04 130
Elasticsearch-分词（笔记来源尚硅谷）
elasticsearch 基于ik分词器的分词查询和模糊匹配_es分词查询模糊匹配
最新发布
2401_84181368的博客
04-21 757
MatchPhrasePrefixQueryBuilder matchQueryBuilder = QueryBuilders.matchPhrasePrefixQuery(“attachment.content”,“皇帝”);//查询条件,我们可以使用SearchSourceBuilder工具来实现。//查询条件,我们可以使用SearchSourceBuilder工具来实现。//精确匹配QueryBuilders.termQuery()//精确匹配QueryBuilders.termQuery()
Elasticsearch之中文分词器
weixin_34232744的博客
02-24 138
  前提 什么是倒排索引？ Elasticsearch之分词器的作用 Elasticsearch之分词器的工作流程 Elasticsearch之停用词             Elasticsearch的中文分词器 　　1、单字分词： 　　　　如：“我们是中国人” 　　　　效果：“我”“们”“是”“中”“国”“人” 　　2、二分法分词：按两个字进行切分。 　　　　...
ElasticSearch分词器
leehoward
09-07 4356
什么是分词器？ 分词器，是将用户输入的一段文本，分析成符合逻辑的一种工具。到目前为止呢，分词器没有办法做到完全的符合人们的要求。和我们有关的分词器有英文的和中文的。英文的分词器过程：输入文本-关键词切分-去停用词-形态还原-转为小写。中文的分词器分为：单字分词 例：中国人 分成中、国、人；二分法分词：例中国人：中国、国人；词典分词：有基本的语意来进行分词的，例：中国人分成中国，国人，中国人，现在
ElasticSearch 分词器
qq_50596778的博客
06-20 5282
ElasticSearch 分词器
Elasticsearch：分词
weixin_40108561的博客
03-10 428
分词（Analysis） 分词（Analysis） 指的是把全文本转换成一系列单词的过程。 分词是通过分词器（Analyzer）来实现的，可使用Elasticsearch内置的分词器，或者按需定制化分词器。 除了在数据写入时转换词条，在查询时也需要使用相同分词器对查询语句进行分析。 分词器（Analyzer） 分词器是专门处理分词的组件，由三部分组成，如图： Character Filters，针对原始文本处理，例如去除html。 Tokenizer，按照规则切分为单词。 Token Filter，
Elasticsearch分词器-中文分词器ik
idooy的学习笔记
10-25 527
因为本人使用Docker安装ES，并在docker run的使用将plugins挂载到了宿主机的 /home/es-kibana/volume/plugins目录下；所以就直接在该目录下创建ik文件夹，并执行上面的解压命令。默认的 standard analysis 对每个汉字进行了分词，显然这不是我们所期望。也不局限于这一种方式，只要能把zip下载并上传到服务器上怎么样都行。，找到和当前ES匹配的版本,ik的版本是跟着ES走的。该API会将文本内容分词成如下单词。ik提供了两种分词器。
elasticsearch7.17.11版本分词器插件安装包
11-13
Elasticsearch（简称ES）是一款基于Lucene的分布式、RESTful搜索引擎，广泛应用于日志收集、数据分析等领域，是ELK（Elasticsearch、Logstash、Kibana）堆栈的重要组成部分。在处理中文数据时，合理的分词对于提升...
IK分词器elasticsearch-analysis-ik-7.17.16
12-24
IK分词器是针对Elasticsearch设计的一款强大的中文分词插件，其全称为"elasticsearch-analysis-ik"。在Elasticsearch中，分词器的作用至关重要，它负责将用户输入的文本进行词汇切分，以便进行后续的搜索和分析操作...
Elasticsearch分词
java大杂烩
09-14 149
_analyze用于分析field或者analyzer/tokenizer是如何分析和索引一段文字。 token: 索引中的词 position指明词在原文本中是第几个出现的 start_offset和end_offset表示词在原文本中占据的位置。 standard分词器 GET /_analyze { "analyzer" : "standard", "text" : "Quick Brown Foxes!" } 返回结果 { "tokens" : [ { "token
ElasticSearch 分词
关注菜菜的后端私房菜，获取更多技术干货~
06-23 175
ElasticSearch 分词 上文说到ElasticSearch 映射的学习，本文简单学习分词 Text Analysis https://www.elastic.co/guide/en/elasticsearch/reference/7.6/analysis.html#analysis 分词器会将字符流分为多个词语 以便检索 POST _analyze { "analyzer": "standard", "text": "the shy rookie jeacklove ning baolan
Elasticsearch的分词
qq_29860591的博客
04-13 1303
什么是分词 分词就是指将一个文本转化成一系列单词的过程，也叫文本分析，在Elasticsearch中称之为Analysis。举例：我是中国人 --> 我/是/中国人 结果： { "tokens": [ { "token": "hello", "start_offset": 0, "...
Elastic Search之分词
热门推荐
分享传递价值
12-27 1万+
分词（Analysis）：将文本切分为一系列单词的过程，比如 "美国留给伊拉克的是个烂摊子吗?"经过分词后的后果为:美国、伊拉克、烂摊子。 分词器（Analyzer）：elasticsearch中执行的分词的主体，官方把分词器分成三个层次： Character Filters:针对文档的原始文本进行处理，例如将印度语的阿拉伯数字"0 12345678 9"转换成拉丁语的阿拉伯数字"012345...
elasticsearch　的分词
larance的挨踢生活
04-24 3247
Elasticsearch 中文搜索时遇到几个问题: 当搜索关键词如：“人民币”时，如果分词将“人民币”分成“人”，“民”，“币”三个单字，那么搜索该关键词会匹配到很多包含该单字的无关内容,但是如果将该词分词成一个整词“人民币”，搜索单字如“人”字又不会匹配到包含“人民币”关键词的内容,怎么解决这个问题,既保证覆盖度又保证准确度? 搜索“RMB”时只会匹配到包含“RMB”关键词的内容，实际上，“RMB”和“人民币”是同义词，我们希望用户搜索“RMB”和“人民币”可以相互匹配，ES同义词怎么
ElasticSearch 中文分词
码上中年的博客
09-26 322
ElasticSearch 中文分词 1. 原生ElasticSearch不支持中文分词 eg: “南京市长江大桥” 直接被分割成 单独的字 2. 使用中文分词器 IK 让ES理解中文 2.1 IK分词器分词机制 2.1.1 去除html标签、特殊字符等 2.1.2 将原始句子分词 2.2.3 转小写、删除语气词、近义词、同义词 2.3 安装IK到ES === 解压到该目录 2.3.1 测...
Elasticsearch的分词器
libiao1994libiao的博客
08-23 206
什么是分词？ 把文本转换为一个个的单词，分词称之为analysis。es默认只对英文语句做分词，中文不支持，每个中文字都会被拆分为独立的个体。 es内置分词器 standard：默认分词，单词会被拆分，大小会转换为小写。 simple：按照非字母分词。大写转为小写（例如标点符号）。 whitespace：按照空格分词。忽略大小写。 stop：去除无意义单词，比如the/a/an/is… keyword：不做分词。把整个文本作为一个单独的关键词 ik 分词器版本和elasticsearch版本不对应报错，导致
Elasticsearch中的分词介绍
weixin_33978016的博客
11-16 112
2019独角兽企业重金招聘Python工程师标准>>> ...
elasticsearch分词器
Java领域优秀创作者
04-03 1576
往ext.dic文件和stopword.dic文件里添加词语,例如往ext.dic里添加传智播客,奥力给,往stopword.dic里添加的,了,吗,嗯。在IKAnalyzer.cfg.xml目录下新建ext.dic文件,stopword.dic(已存在)扩展后有了"传智播客",“白嫖”,“奥力给”,没有了"的"尽可能多的分词/尽可能细粒度的分词。扩展字典/扩展屏蔽字典。
Elasticsearch分词原理与内置分析器解析
"Elasticsearch分词.pptx 涉及到ES的分词原理、内置分词器以及它们的特性和使用示例。主要介绍了StandardAnalyzer、SimpleAnalyzer和WhitespaceAnalyzer三种分词器。" 在Elasticsearch (ES) 中，分词是构建高效全文...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值