ElasticSearch学习笔记（二）IK分词器和拼音分词器的安装

最新推荐文章于 2022-04-11 16:40:34 发布
最新推荐文章于 2022-04-11 16:40:34 发布
阅读量2.3k 收藏 1
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q15150676766/article/details/75944158
版权

ElasticSearch是自带分词器的，但是自带的分词器一般就只能对英文分词，对英文的分词只要识别空格就好了，还是很好做的（ES的这个分词器和Lucene的分词器很想，是不是直接使用Lucene的就不知道），自带的分词器对于中文就只能分成一个字一个字，这个显然是不能满足在开发中的要求的。

先看看自带的分词器的分词效果（还是使用Sense工具）：

POST /_analyze
{
  "analyzer":"standard",
  "text":"中华人民共和国国歌"
}

得到的结果是下面这个：

{
   "tokens": [
      {
         "token": "中",
         "start_offset": 0,
         "end_offset": 1,
         "type": "<IDEOGRAPHIC>",
         "position": 0
      },
      {
         "token": "华",
         "start_offset": 1,
         "end_offset": 2,
         "type": "<IDEOGRAPHIC>",
         "position": 1
      },
      {
         "token": "人",
         "start_offset": 2,
         "end_offset": 3,
         "type": "<IDEOGRAPHIC>",
         "position": 2
      },
      {
         "token": "民",
         "start_offset": 3,
         "end_offset": 4,
         "type": "<IDEOGRAPHIC>",
         "position": 3
      },
      {
         "token": "共",
         "start_offset": 4,
         "end_offset": 5,
         "type": "<IDEOGRAPHIC>",
         "position": 4
      },
      {
         "token": "和",
         "start_offset": 5,
         "end_offset": 6,
         "type": "<IDEOGRAPHIC>",
         "position": 5
      },
      {
         "token": "国",
         "start_offset": 6,
         "end_offset": 7,
         "type": "<IDEOGRAPHIC>",
         "position": 6
      },
      {
         "token": "国",
         "start_offset": 7,
         "end_offset": 8,
         "type": "<IDEOGRAPHIC>",
         "position": 7
      },
      {
         "token": "歌",
         "start_offset": 8,
         "end_offset": 9,
         "type": "<IDEOGRAPHIC>",
         "position": 8
      }
   ]
}

IK分词器的安装

在ES中，从资料来看好像都是使用IK分词器的，所以这篇博客配的也是IK分词器，有兴趣的同学可以自己去试试其他的分词器（我是用过的有MMSeg4j ，NPL，jieba）。

如果是在window下：

从这个地址上把项目clone下来或者直接下载zip下来

https://github.com/medcl/elasticsearch-analysis-ik

拉下来的项目是maven项目的，需要电脑上已经安装了maven。主意下载下来的elasticsearch的版本要和你正在用的同一个版本，或者在pom.xml修改成对应的版本号：

<properties>
        <!--Elasticsearch的版本号-->
        <elasticsearch.version>5.5.0</elasticsearch.version>
        <!--JDK的版本-->
        <maven.compiler.target>1.8</maven.compiler.target>
        <elasticsearch.assembly.descriptor>${project.basedir}/src/main/assemblies/plugin.xml</elasticsearch.assembly.descriptor>
        <elasticsearch.plugin.name>analysis-ik</elasticsearch.plugin.name>
        <elasticsearch.plugin.classname>org.elasticsearch.plugin.analysis.ik.AnalysisIkPlugin</elasticsearch.plugin.classname>
        <elasticsearch.plugin.jvm>true</elasticsearch.plugin.jvm>
        <tests.rest.load_packaged>false</tests.rest.load_packaged>
        <skip.unit.tests>true</skip.unit.tests>
        <gpg.keyname>4E899B30</gpg.keyname>
        <gpg.useagent>true</gpg.useagent> 
    </properties>

然后使用下面的命令打包一下项目：

mvn package

如果成功的话会在target/releases下有一个zip压缩包elasticsearch-analysis-ik-5.5.0.zip
这个压缩包就是我们待会要用的。

注意到上面的pom.xml文件中使用的JDK1.8，如果电脑是之前安装的maven，而且恰好使用的JDK1.7的maven，mvn package是会报错的，这个使用需要找到maven下的setting文件，然后将JDK版本改成1.8之后，重新mvn package应该就可以了。

      <profile>       
           <id>jdk-1.8</id>       
           <activation>       
               <activeByDefault>true</activeByDefault>       
               <jdk>1.8</jdk>       
           </activation>       
           <properties>       
               <maven.compiler.source>1.8</maven.compiler.source>       
               <maven.compiler.target>1.8</maven.compiler.target>       
               <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>       
           </properties>       
   </profile>

再注意，这个不能像之前修改像之前修改elasticsearch版本号一样，直接在pom.xml文件中将jdk改成1.7，因为项目中使用到了jdk1.8的新特性，这样修改之后项目本身会报错的。

如果还是无法使用mvn package打包项目的话，可以把项目拉进eclipse中，然后右键run–>maven install，可以达到同样的效果。

然后把刚刚得到的elasticsearch-analysis-ik-5.5.0.zip上传到服务器。需要把这个文件elasticsearch-5.5.0/plugins/ik这个路径下；

解压压缩包：

unzip elasticsearch-analysis-ik-5.5.0.zip

到这一步基本上elasticsearch的ik分词器就安装好了。示例待会说，下面将一个可能遇到的问题：

如果服务器上没有安装unzip功能的话，可以使用下面的命令行安装

yum install -y unzip zip

如果服务没有安装上传下载功能的，可以使用下面的方法安装

yum install -y lrzsz

然后输入下面命令行就会弹出一个窗口，选择文件上传到服务器上就可以。

rz

顺便说一下，使用下面的命令可以将服务器上的文件下载到本地。

sz XXX(下载的文件名)

如果是在linux下：
之前的那些操作之所以在windows下完成是因为在linux环境下很多简单的操作都要输入很多命令行，如果有报错不容易调试，但是如果可以保证linux下的功能比较完整的话，服务器上起码安装了Git和maven的，可以直接在linux下完成这些功能的：
把项目从github克隆下来

git clone https://github.com/medcl/elasticsearch-analysis-ik.git

如果需要修改elasticsearch版本的，修改一下版本号，然后打包项目

maven package

而后把target/release下的压缩包移动到elasticsearch下plugins下解压就OK了。

接下来重启一下elasticsearch服务，如果出现下面的图片就基本上算是安装成功了。说明了elasticsearch就加载成功了。
这里写图片描述

在sense中测试一下，IK中有两种分词器，一种是ik_max_word另一种是ik_smart，分别会最大粒度的分词和最小粒度的分词：

POST /_analyze
{
  "analyzer":"ik_max_word",
  "text":"中华人民共和国国歌"
}

会得到

{
   "tokens": [
      {
         "token": "中华人民共和国",
         "start_offset": 0,
         "end_offset": 7,
         "type": "CN_WORD",
         "position": 0
      },
      {
         "token": "中华人民",
         "start_offset": 0,
         "end_offset": 4,
         "type": "CN_WORD",
         "position": 1
      },
      {
         "token": "中华",
         "start_offset": 0,
         "end_offset": 2,
         "type": "CN_WORD",
         "position": 2
      },
      {
         "token": "华人",
         "start_offset": 1,
         "end_offset": 3,
         "type": "CN_WORD",
         "position": 3
      },
      {
         "token": "人民共和国",
         "start_offset": 2,
         "end_offset": 7,
         "type": "CN_WORD",
         "position": 4
      },
      {
         "token": "人民",
         "start_offset": 2,
         "end_offset": 4,
         "type": "CN_WORD",
         "position": 5
      },
      {
         "token": "共和国",
         "start_offset": 4,
         "end_offset": 7,
         "type": "CN_WORD",
         "position": 6
      },
      {
         "token": "共和",
         "start_offset": 4,
         "end_offset": 6,
         "type": "CN_WORD",
         "position": 7
      },
      {
         "token": "国",
         "start_offset": 6,
         "end_offset": 7,
         "type": "CN_CHAR",
         "position": 8
      },
      {
         "token": "国歌",
         "start_offset": 7,
         "end_offset": 9,
         "type": "CN_WORD",
         "position": 9
      }
   ]
}

如果是

POST /_analyze
{
  "analyzer":"ik_smart",
  "text":"中华人民共和国国歌"
}

会得到

{
   "tokens": [
      {
         "token": "中华人民共和国",
         "start_offset": 0,
         "end_offset": 7,
         "type": "CN_WORD",
         "position": 0
      },
      {
         "token": "国歌",
         "start_offset": 7,
         "end_offset": 9,
         "type": "CN_WORD",
         "position": 1
      }
   ]
}

基本上这样就把IK分词器安装成功了。

拼音分词器的安装

拼音分词器的安装和Ik的安装基本上是相同的

https://github.com/medcl/elasticsearch-analysis-pinyin

讲项目拉下来，打包项目，将target/release下的压缩包移动到elasticsearch-5.5.0下的plugins下，重启一下elasticsearch就可以了。

测试一下：

POST /_analyze
{
    "analyzer":"pinyin",
    "text":"中华人民共和国国歌"
}

得到

{
   "tokens": [
      {
         "token": "zhong",
         "start_offset": 0,
         "end_offset": 1,
         "type": "word",
         "position": 0
      },
      {
         "token": "zhrmghggg",
         "start_offset": 0,
         "end_offset": 9,
         "type": "word",
         "position": 0
      },
      {
         "token": "hua",
         "start_offset": 1,
         "end_offset": 2,
         "type": "word",
         "position": 1
      },
      {
         "token": "ren",
         "start_offset": 2,
         "end_offset": 3,
         "type": "word",
         "position": 2
      },
      {
         "token": "min",
         "start_offset": 3,
         "end_offset": 4,
         "type": "word",
         "position": 3
      },
      {
         "token": "gong",
         "start_offset": 4,
         "end_offset": 5,
         "type": "word",
         "position": 4
      },
      {
         "token": "he",
         "start_offset": 5,
         "end_offset": 6,
         "type": "word",
         "position": 5
      },
      {
         "token": "guo",
         "start_offset": 6,
         "end_offset": 7,
         "type": "word",
         "position": 6
      },
      {
         "token": "guo",
         "start_offset": 7,
         "end_offset": 8,
         "type": "word",
         "position": 7
      },
      {
         "token": "ge",
         "start_offset": 8,
         "end_offset": 9,
         "type": "word",
         "position": 8
      }
   ]
}

顺便说一下，在这些分词结果在处理的时候，就会被存进索引，搜索的时候，如果输入“国歌”，“guoge”，“zhrmghggg”，“中国人民共和国国歌”，那么中华人民共和国国歌就会被索引到。

ncfl
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
虚拟机安装linux保姆级手册
03-25
虚拟机安装linux 创建虚拟机并安装Linux操作系统 VirtualBox是一款开源免费跨平台的虚拟机软件。您可以基于VirtualBox工具提供的Linux操作系统，制作VHD格式的Linux镜像文件。本文介绍如何基于VirtualBox创建虚拟机并安装Linux操作系统。 前提条件 已安装VirtualBox工具。VirtualBox官方下载地址，请参见VirtualBox官网。 已准备好ISO镜像文件，例如CentOS-7-x86_64-Minimal-2009.iso。您可以访问阿里云官方镜像站下载ISO镜像文件。 确保网络连接稳定。 操作步骤 不同的操作系统安装步骤可能不同，请您根据实际的安装界面提示进行操作。本文以在VirtualBox 7.0.2上创建并安装CentOS 7.9操作系统为例。
ES-IK分词器的安装
qq_32783151的博客
05-29 346
注意：需选择与es相同版本的ik分词器。 方式一： 1、进入到 $ ES_HOME/bin 下进行下载： ./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.1.1/elasticsearch-analysis-ik-6.1.1.zip [root@bigdata01 bin]$ pwd /opt/module/elasticsearch-6.1.1/.
Elasticsearch之ik中文分词器的下载及安装步骤
niutnt的博客
03-10 735
Elasticsearch—lk中文分析器下载及安装 下载链接：github上ik不同版本下载链接 安装步骤 - 1、进入linux系统中的，如用户家目录`cd /home/python` - 2、把下载好的压缩包拖到家目录下如：/home/python目录下的"elasticsearch-analysis-ik-5.6.16.zip" - 3、执行安装中文分词器`sudo /usr/sh...
Windows平台下安装ElasticSearch7.2并集成ik和拼音分词器
十年的博客
08-08 898
1.ElasticSearch的安装以及配置ik和pinyin分词器 自己选择自己需要的版本 ElasticSearch下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch IK分词器下载地址 ：https://github.com/medcl/elasti...
解决IK分词英文查询问题
m0_56874878的博客
07-05 1428
通过IK分词查询查出排序有问题。中文分词的没问题，英文的不会分词。解决办法打开elasticsearch-7.2.1\plugins\analysis-ik\config 的IKAnalyzer.cfg.xml文件 在<entry key="ext_dict">sku/aaa.dic</entry>建立一个自己定义的分词 在elasticsearch-7.2.1\config\sku\建立aaa.dic文件 手输入，英文单词让他们全部分词 重启es ，重新导入下 然
elasticsearch ik_smart 中文分词器，分词英文的时候有个小 bug
11-06 2547
昨天在测试 match 查询用法的时候，随便输入了一段 twenty British women made history 这样一段文本，结果却查不出来记录。明显是有问题的，这段文本是从 es 记录中拷贝的一句，怎么就查不出来了呢？ 后来看了下分词器用的是 ik_smart ，是不是中文分词器对英文支持的不够好？后来试了下 standard 分词器，是可以查出来的。 刚才试了下分词结果，发现了问题所在: GET /_analyze { "analyzer": "ik_smart", "text":
IK分词器自定义词典问题
PigeonEssence的博客
04-11 1016
在学习ES的IK分词器的时候，遇到了一些小问题，总结一下： 1.下载分词器： IK分词器的下载在： https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.6.2 不是直接下载源码，版本和es版本对应 2.安装分词器： 直接解压到es的plugins文档下面，新建一个ik的文件夹。 重启es可以看到加载分词器插件成功 3.分词算法： IK有两个分词算法： ik_smart是最少切分，ik_max.
【ElasticSearch】 中文分词器-IK分词器
liuerchong的博客
10-11 723
分词介绍 什么是分词 　　分词就是指将一个文本转化成一系列单词的过程，也叫文本分析，在Elasticsearch中称之为Analysis。 　　举例:我是中国人-->我/是/中国人 分词api 　　指定分词器进行分词 　　示例： 1 POST /_analyse 2 3 { 4 "analyzer": "standard", 5 "text": "hello world" 6 } 　　效果如下： 　　 　　在结果中不仅可以看出分词的结果，还返回了该词在文...
ElasticSearch:为中文分词器增加对英文的支持（让中文分词器可以处理中英文混合文档）
热门推荐
雷雨中的双桅船
08-12 1万+
当我们使用中文分词器的时候，其实也希望它能够支持对于英文的分词。试想，任何一个存储文字的字段都有可能是中英文夹杂的。 我们的项目中使用IKAnalyzer作为中文分词器，它在处理文档过程中遇到英文时，利用空格和标点将英文单词取出来，同时也会对其转全小写处理。其实这和真正的英文分词已经很接近了，只有一墙之隔：词干提取。一个真正的英文分词器除了
elasticsearch7.8.0版本的IK分词器
12-30
elasticsearch7.8.0版本的IK分词器
elasticsearch-5.5.1.rar(包含elasticsearch-analysis-ik-5.5.1.zip中文分词解析器)
07-22
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr，也是基于Lucene。
elasticsearch-analysis-ik-5.5.3.zip
01-22
elasticsearch 5.5.3 所需要的ik分词器。版本一定要对应 使用方法 http://blog.csdn.net/fangyuandoit/article/details/79129018
elasticsearch-analysis-ik-5.2.2.zip
05-22
IK分词器，多少人用过，中国人开发的包，用在ElasticSearch 分词搜索上，ElasticSearch利用其 优秀的 倒排索引方式，能成功在千万级数据中找到 相关信息，但仅仅可以用在英文单词搜索上，对于中文，老外也设置了，但是没想到，中华上下五千年。。。。分词 给咱们弄成了 分字，
ik分词器tar包 7.10.2
03-03
ik分词器tar包 7.10.2
7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器
最新发布
08-07
elasticsearch-analysis-ik 是一个常用的中文分词器，在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个主要特点： 中文分词：elasticsearch-analysis-ik 是基于...
elasticsearch-6.2.2，ik分词器，kibana-6.2.2-windows-64
04-29
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。...Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
elasticsearch-7.0.0 版本 ik 中文分词器
08-20
elasticsearch-7.0.0版本 ik中文分词器，编译好的文件，亲测成功，2.4.6版本的见在本人其他资源中寻找，免费下载，成功请给好评。
ElasticSearch学习笔记（一）ElasticSearch安装
ncfl
07-20 1万+
一、简介Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。
ElasticSearch学习笔记（三）logstash安装和logstash-input-jdbc插件
ncfl
07-24 1万+
logstash安装和logstash-input-jdbc插件
elasticsearch安装ik分词器
06-28
要在 Elasticsearch 上安装 IK 分词器，需要以下几步操作： 1. 下载 IK 分词器插件，并将其复制到 Elasticsearch 插件目录中。 2. 使用 Elasticsearch 的命令行工具安装插件，例如： ``` bin/elasticsearch-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值