elasticsearch安装和使用ik分词器

最新推荐文章于 2024-11-08 15:36:50 发布
最新推荐文章于 2024-11-08 15:36:50 发布
阅读量1.8w 收藏 20
点赞数 8
分类专栏： elasticsearch elasticsearch之旅 文章标签： elasticsearch ik分词器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/boling_cavalry/article/details/86549043
版权

在使用elasticsearch的时候，如果不额外安装分词器的话，在处理text字段时会使用elasticsearch自带的默认分词器，我们来一起看看默认分词器的效果；

环境信息

  1. 本次实战用到的elasticsearch版本是6.5.0，安装在Ubuntu 16.04.5 LTS，客户端工具是postman6.6.1；
  2. 如果您需要搭建elasticsearch环境，请参考《Linux环境快速搭建elasticsearch6.5.4集群和Head插件》；
  3. Ubuntu服务器上安装的JDK，版本是1.8.0_191；
  4. Ubuntu服务器上安装了maven，版本是是3.5.0；

elasticsearch为什么要用6.5.0版本

截止发布文章时间，elasticsearch官网已经提供了6.5.4版本下载，但是ik分词器的版本目前支持到6.5.0版本，因此本次实战的elasticsearch选择了6.5.0版本；

基本情况介绍

本次实战的elasticsearch环境已经搭建完毕，是由两个机器搭建的集群，并且elasticsearch-head也搭建完成：

  1. 一号机器，IP地址：192.168.150.128；
  2. 二号机器：IP地址：192.168.150.128；
  3. elasticsearch-head安装在一号机器，访问地址：http://192.168.150.128:9100

数据格式说明

为了便于和读者沟通，我们来约定一下如何在文章中表达请求和响应的信息：

  1. 假设通过Postman工具向服务器发送一个PUT类型的请求，地址是：http://192.168.150.128:9200/test001/article/1
  2. 请求的内容是JSON格式的，内容如下：
{
	"id":1,
	"title":"标题a",
	"posttime":"2019-01-12",
	"content":"一起来熟悉文档相关的操作"
}

对于上面的请求，我在文章中就以如下格式描述：

PUT test001/article/1

{
	"id":1,
	"title":"标题a",
	"posttime":"2019-01-12",
	"content":"一起来熟悉文档相关的操作"
}

读者您看到上述内容，就可以在postman中发起PUT请求，地址是"test001/article/1"前面加上您的服务器地址，内容是上面的JSON；

默认分词器的效果

先来看看默认的分词效果：

  1. 创建一个索引：
PUT test002
  1. 查看索引基本情况：
GET test002/_settings

收到响应如下，可见并没有分词器的信息：

{
    "test002": {
        "settings": {
            "index": {
                "creation_date": "1547863084175",
                "number_of_shards": "5",
                "number_of_replicas": "1",
                "uuid": "izLzdwCQRdeq01tNBxajEg",
                "version": {
                    "created": "6050499"
                },
                "provided_name": "test002"
            }
        }
    }
}
  1. 查看分词效果：
POST test002/_analyze?pretty=true

{"text":"我们是软件工程师"}

收到响应如下，可见每个汉字都被拆分成一个词了，这样会导致词项搜索时收不到我们想要的(例如用"我们"来搜索是没有结果的)：

{
    "tokens": [
        {
            "token": "我",
            "start_offset": 0,
            "end_offset": 1,
            "type": "<IDEOGRAPHIC>",
            "position": 0
        },
        {
            "token": "们",
            "start_offset": 1,
            "end_offset": 2,
            "type": "<IDEOGRAPHIC>",
            "position": 1
        },
        {
            "token": "是",
            "start_offset": 2,
            "end_offset": 3,
            "type": "<IDEOGRAPHIC>",
            "position": 2
        },
        {
            "token": "软",
            "start_offset": 3,
            "end_offset": 4,
            "type": "<IDEOGRAPHIC>",
            "position": 3
        },
        {
            "token": "件",
            "start_offset": 4,
            "end_offset": 5,
            "type": "<IDEOGRAPHIC>",
            "position": 4
        },
        {
            "token": "工",
            "start_offset": 5,
            "end_offset": 6,
            "type": "<IDEOGRAPHIC>",
            "position": 5
        },
        {
            "token": "程",
            "start_offset": 6,
            "end_offset": 7,
            "type": "<IDEOGRAPHIC>",
            "position": 6
        },
        {
            "token": "师",
            "start_offset": 7,
            "end_offset": 8,
            "type": "<IDEOGRAPHIC>",
            "position": 7
        }
    ]
}

为了词项搜索能得到我们想要的结果，需要换一个分词器，理想的分词效果应该是"我们"、“是”、“软件”、“工程师”，ik分词器可以满足我们的要求，接下来开始实战；

注意事项

  1. 下面的所有操作都使用es账号来进行，不要用root账号；
  2. 编译ik分词器需要用到maven，如果您有docker，但是不想安装maven，可以参考《没有JDK和Maven，用Docker也能构建Maven工程》来编译工程；

下载IK分词器源码到Ubuntu

  1. 登录ik分词器网站：https://github.com/medcl/elasticsearch-analysis-ik
  2. 按照网站提供的版本对应表，确认我们要使用的分词器版本，很遗憾写文章的时候还没有匹配elasticsearch-6.5.0的版本，那就用master吧，也就是下图中的红框版本：
    在这里插入图片描述
  3. 如下图，点击下载zip文件：
    在这里插入图片描述
  4. 将下载的zip包放到Ubuntu机器上，解压后是个名为elasticsearch-analysis-ik-master的文件夹，在此文件夹下执行以下命令，即可开始构建ik分词器工程：
mvn clean package -U -DskipTests
  1. 等待编译完成后，在target/release目录下会生产名为elasticsearch-analysis-ik-6.5.0.zip的文件，如下所示：
$ pwd
/usr/local/work/es/elasticsearch-analysis-ik-master
$ cd target/
$ ls
archive-tmp  elasticsearch-analysis-ik-6.5.0.jar          generated-sources  maven-status
classes      elasticsearch-analysis-ik-6.5.0-sources.jar  maven-archiver     releases
$ cd releases/
$ ls
elasticsearch-analysis-ik-6.5.0.zip
  1. 停止集群中所有机器的elasticsearch进程，在所有机器上做这些操作：在elasticsearch的plugins目录下创建名为ik的目录，再将上面生成的elasticsearch-analysis-ik-6.5.0.zip文件复制到这个新创建的ik目录下；
  2. 在elasticsearch-analysis-ik-6.5.0.zip所在文件夹下，执行目录unzip elasticsearch-analysis-ik-6.5.0.zip进行解压；
  3. 确认elasticsearch-analysis-ik-6.5.0.zip已经复制到每个elasticsearch的plugins/ik目录下并解压后，将所有elasticsearch启动，可以发现控制台上会输出ik分词器被加载的信息，如下图所示：
    在这里插入图片描述
    至此，ik分词器安装完成，来验证一下吧；

验证ik分词器

  1. 在postman发起请求，在json中通过tokenizer指定分词器：
POST test002/_analyze?pretty=true

{
"text":"我们是软件工程师",
"tokenizer":"ik_max_word"
}

这一次得到了分词的效果：

{
    "tokens": [
        {
            "token": "我们",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "是",
            "start_offset": 2,
            "end_offset": 3,
            "type": "CN_CHAR",
            "position": 1
        },
        {
            "token": "软件工程",
            "start_offset": 3,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "软件",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "工程师",
            "start_offset": 5,
            "end_offset": 8,
            "type": "CN_WORD",
            "position": 4
        },
        {
            "token": "工程",
            "start_offset": 5,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 5
        },
        {
            "token": "师",
            "start_offset": 7,
            "end_offset": 8,
            "type": "CN_CHAR",
            "position": 6
        }
    ]
}

可见所有可能形成的词语都被分了出来，接下试试ik分词器的另一种分词方式ik_smart；
2. 使用ik_smart方式分词的请求如下：
shellshell
POST test002/_analyze?pretty=true

{
“text”:“我们是软件工程师”,
“tokenizer”:“ik_smart”
}

这一次得到了分词的效果：
```json
{
    "tokens": [
        {
            "token": "我们",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "是",
            "start_offset": 2,
            "end_offset": 3,
            "type": "CN_CHAR",
            "position": 1
        },
        {
            "token": "软件",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "工程师",
            "start_offset": 5,
            "end_offset": 8,
            "type": "CN_WORD",
            "position": 3
        }
    ]
}

可见ik_smart的特点是将原句做拆分，不会因为各种组合出现部分的重复，以下是来自官方的解释：

ik_max_word 和 ik_smart 什么区别?
ik_max_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合；

ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”。

验证搜索

前面通过http请求验证了分词效果，现在通过搜索来验证分词效果；

  1. 通过静态mapping的方式创建索引，指定了分词器和分词方式：
PUT test003

{
  "mappings": {
    "article": {
      "dynamic": false,
      "properties": {
        "title": {
          "type": "keyword"
        },
       "content": {
                "type": "text",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_max_word"
            }
      }
    }
  }
}

创建成功会收到以下响应：

{
    "acknowledged": true,
    "shards_acknowledged": true,
    "index": "test003"
}
  1. 创建一个文档：
PUT test003/article/1

{
  "id":1,
  "title":"文章一",
  "content":"我们是软件工程师"
}
  1. 用工程师作为关键词查询试试：
GET test003/_search

{
	"query":{
		"term":{"content":"工程师"}
	}
}

搜索成功：

{
    "took": 111,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 0.2876821,
        "hits": [
            {
                "_index": "test003",
                "_type": "article",
                "_id": "1",
                "_score": 0.2876821,
                "_source": {
                    "id": 1,
                    "title": "文章一",
                    "content": "我们是软件工程师"
                }
            }
        ]
    }
}

至此，ik分词器的安装和使用实战就完成了，希望本文能在您的使用过程中提供一些参考；

欢迎关注我的公众号：程序员欣宸

在这里插入图片描述

elasticsearch7.8.0版本的IK分词器
12-30
9. **插件安装与升级**: 安装 IK 分词器非常简单，只需将 `elasticsearch-analysis-ik-7.8.0` 文件解压后放入 Elasticsearch 的 plugins 目录下，重启服务即可。如果需要升级，只需替换新的插件版本并重新启动。 在...
ElasticSearch之IK分词器安装以及使用介绍
qq_39939541的博客
07-27 1万+
elasticsearch 默认的内置分词器对中文的分词效果可能并不理想，因为它们主要是针对英文等拉丁语系的文本设计的。如果要在中文文本上获得更好的分词效果，我们可以考虑使用中文专用的分词器。IK 分词器是一个开源的中文分词器插件，特别为 Elasticsearch 设计和优化。它在中文文本的分词处理上表现出色，能够根据中文语言习惯进行精细的分词。IK 分词器允许用户自定义词典，可以添加新词、调整词频等，以便更好地适应特定的领域或需求。自定义词典可以提高分词的准确性和召回率。
ES中文分词器-ik分词器安装
weixin_49211575的博客
11-26 2344
IK分词器安装 1、环境准备 Elasticsearch 要使用 ik，就要先构建 ik 的 jar包，这里要用到 maven 包管理工具，而 maven 需要java 环境，而 Elasticsearch 内置了jdk， 所以可以将JAVA_HOME设置为Elasticsearch 内置的jdk 1）设置JAVA_HOME vim /etc/profile # 在profile文件末尾添加 #java environment export JAVA_HOME=/opt/elasticsearch-7.4.
ElasticSearch——IK分词器的下载及使用
最新发布
weixin_54559505的博客
11-08 116
分词器分词方式单字分词二分法IKAnalyzer词库分词分词∶即把一段中文或者别的划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一个匹配操作，默认的中文分词是将每个字看成一个词，比如“我爱中国"会被分为"我"“爱”“中”"国”，这显然是不符合要求的，所以我们需要安装中文分词器ik来解决这个问题。IK提供了两个分词算法：ik_smart和ik_max_word，其中ik smart为最少切分，ik_max_word为最细粒度划分!
ES-IK分词器的概念和基本使用
jc15274630894的博客
04-21 5012
ES-IK分词器的概念和基本使用
IK分词器安装、配置、分词自定义、Rest使用、SpringBoot使用
weixin_45266856的博客
04-16 2663
IK分词器是的一个最最最有名插件，能够把一段中文或者别的语句划分成一个个的关键字，进而在搜索的时候对数据库中或者索引库数据进一个匹配操作。举个小例子，可以将计算机科学与技术学院更细致的拆分为：计算机、计算、算机、科学、与、技术、学院、技术学院… 等等。有的时候，ik分词器拆分出来的词语并不是我们想要的，或者说拆分出来的词语不够我使用，此时便可以自定义拆分文本。第一步，首先在目录下新建一个文本文件，命名为.dic后缀的文件
ElasticSearch 学习8 ：ik分词器的扩展，及java调用ik分词器的analyzer
zhaofuqiangmycomm的博客
10-08 3957
上篇已经说过ik的集成，这篇说下ik的实际使用。
IK分词器elasticsearch-analysis-ik-7.17.16
12-24
**IK分词器详解** IK分词器是针对Elasticsearch设计的一款强大的中文分词插件，其全称为"elasticsearch-analysis-ik...了解并熟练掌握IK分词器的使用，能帮助我们更好地利用Elasticsearch进行中文信息检索和数据分析。
7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器
08-07
elasticsearch-analysis-ik 是一个常用的中文分词器，在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个主要特点： 中文分词：elasticsearch-analysis-ik 是基于...
elasticsearch-analysis-ik 7.10.0 分词器
01-10
Elasticsearch-analysis-ik 7.10.0 分词器是 Elasticsearch 在中文环境下的得力助手，它结合了 IK 分词器的强大功能和 Elasticsearch 的灵活性，为企业级搜索提供了坚实的基石。通过合理的配置和使用，可以显著提高...
ik分词器tar包 7.10.2
03-03
**IK分词器详解** IK分词器是针对Elasticsearch（ES）的一款热门中文分词插件，其全称为...正确安装和配置IK分词器，可以显著提升Elasticsearch对中文文本的索引和搜索性能，从而更好地服务于各种信息检索和分析任务。
IK分词器
热门推荐
一条大河
11-15 1万+
IK分词器是ES的一个插件，主要用于把一段中文或者别的划分成一个个的关键字,我们在搜索时候会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作,默认的中文分词器是将每个字看成一个词,比如"我爱技术"会被分为"我","爱","技","术",这显然不符合要求,所以我们需要安装中文分词器IK来解决这个问题； IK提供了两个分词算法:ik_smart和ik_max_word ik_smart为最少切分，添加了歧义识别功能，推荐； ik_max_word为最细切分，能切的都会被切
elasticsearch学习（六）：IK分词器
weixin_40482816的博客
09-19 1万+
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。1）采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。
Ik分词器（自定义分词-mysql）
Lin_XXiang的博客
11-22 2905
自定义ik分词，并且与mysql关联使用
本地elasticsearch中文分词器 ik分词器安装及使用
aq_money的博客
04-29 1万+
ElasticSearch 内置了分词器，如标准分词器、简单分词器、空白词器等。但这些分词器对我们最常使用的中文并不友好，不能按我们的语言习惯进行分词。ik分词器就是一个标准的中文分词器。它可以根据定义的字典对域进行分词，并且支持用户配置自己的字典，所以它除了可以按通用的习惯分词外，我们还可以定制化分词。ik分词器是一个插件包，我们可以用插件的方式将它接入到ES。下载地址：ik分词器地址 注意要选择跟自己es保持一致的版本下载。 将下载的安装包在es安装目录下的plugins下新建一个ik文件夹、将文件解压
03-ES核心概念理解&IK分词器详解
2401_84003839的博客
05-22 1980
在这个部分总结了2019年到目前为止Java常见面试问题，取其面试核心编写成这份文档笔记，从中分析面试官的心理，摸清面试官的“套路”，可以说搞定90%以上的Java中高级面试没一点难度。本节总结的内容涵盖了：消息队列、Redis缓存、分库分表、读写分离、设计高并发系统、分布式系统、高可用系统、SpringCloud微服务架构等一系列互联网主流高级技术的知识点。（上述只是一个整体目录大纲，每个点里面都有如下所示的详细内容，从面试问题——分析面试官心理——剖析面试题——完美解答的一个过程）!必看视频！
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
m0_74932057的博客
04-28 434
提示：能够看出不同的分词器，分词有明显的区别，所以以后定义一个索引不能再使用默认的 mapping 了，要手工建立 mapping, 因为要选择分词器修改/usr/share/elasticsearch/plugins/ik/config/中的 IKAnalyzer.cfg.xml ，如果进行了目录挂载，只需要在外部对应目录修改就行，我这里的外部挂载目录是：首先你要安装了nginx，我这以下操作步骤是基于nginx挂载到外部目录。 需要将这个链接地址放置到中对应的远程词库目录 我这里最终的目的是项目中要使
【ElasticSearch】分词器（ElasticSearchIK分词器）
莫等闲 白了少年头 空悲切
04-03 1336
•IKAnalyzer 是一个开源的，基于java语言开发的轻量级的中文分词工具包•是一个基于Maven构建的项目•具有60万字/秒的高速处理能力•支持用户词典扩展定义。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员欣宸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值