Elasticsearch：IK 中文分词器

已于 2024-06-13 21:27:56 修改
阅读量7.3k 收藏 15
点赞数 7
分类专栏： Elastic Elasticsearch 文章标签： elasticsearch 大数据 数据库
于 2019-10-28 09:21:09 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/UbuntuTouch/article/details/100516428
版权

有关 IK 分词器的作者介绍，请参阅文章 “采访IK Analyzer 中文分词器开源项目作者林良益（十三）”

Elasticsearch 内置的分词器对中文不友好，只会一个字一个字的分，无法形成词语，比如：

POST /_analyze
{
  "text": "我爱北京天安门",
  "analyzer": "standard"
}

如果我们使用的是 standard 的分词器，那么结果就是：

{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "爱",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    ...
    {
      "token" : "门",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "<IDEOGRAPHIC>",
      "position" : 6
    }
  ]
}

显然这对中文来说并不友好，它显示的每一个汉字。好在 Elastic 的大拿 medcl 已经为我们做好 IK 中文分词器。下面我们来详细介绍如何安装并使用中文分词器。具体的安装步骤可以在地址 https://github.com/medcl/elasticsearch-analysis-ik 找到。

安装

首先，我们可以到如下的地址查看一下是否有最新的版本对应你的 Elasticsearch 的发行版：

https://github.com/medcl/elasticsearch-analysis-ik/releases

到目前截止日期，我们可以看到有最新的 v7.3.1 发行版。你需要根据自己的 Elasticsearch 的发行版选择同样版本的 ik 分词器进行安装。

那么，我们直接进入到我们的 Elasticsearch 的安装目录下，并打入如下的命令：

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.3.1/elasticsearch-analysis-ik-7.3.1.zip

替代上面的7.3.1安装你自己想要的版本：

安装好后，我们可以通过如下的命令来检查是否已经安装好：

localhost:elasticsearch-7.3.0 liuxg$ ./bin/elasticsearch-plugin list
analysis-ik

上面的命令显示我们的 IK 已经安装成功了。

这个时候需要我们重新启动一下我们的 Elasticsearch，以便这个 plugin 能装被加载。

使用 IK 分词器

根据 IK 分词器的文档，它含有如下的部分：

Analyzer：

  • ik_smart
  • ik_max_word

Tokenizer:

  • ik_smart
  • ik_max_word

我们收使用先前的句子 “我爱北京天安门” 来检查一下：

POST _analyze
{
  "text": "我爱北京天安门",
  "analyzer": "ik_smart"
}

上面的 ik_smart 分词器显示的结果是：

{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "爱",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "北京",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "天安门",
      "start_offset" : 4,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 3
    }
  ]
}

我们接着使用 ik_max_word 分词器来试一下同样的句子：

POST _analyze
{
  "text": "我爱北京天安门",
  "analyzer": "ik_max_word"
}

上面的 ik_max_word 分词器显示的结果为：

{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "爱",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "北京",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "天安门",
      "start_offset" : 4,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "天安",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "门",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "CN_CHAR",
      "position" : 5
    }
  ]
}

从两个输出中我们可以看出来：这两者的区别在于它们提取词项的粒度上，ik_smart 提取粒度较粗，而后者 ik_max_word 则较细，它给出更多的 token。

接下来我们创建一个索引:

PUT chinese

接下来，我们来为这个index 创建一个 mapping

PUT /chinese/_mapping
{
  "properties": {
    "content": {
      "type": "text",
      "analyzer": "ik_max_word",
      "search_analyzer": "ik_smart"
    }
  }
}

运行上面的命令后，如果出现如下的信息：

{
  "acknowledged" : true
}

它表明我们的安装时成功的。

接下来，我们来导入一些文档：

GET /chinese/_analyze
{
  "text": "我爱北京天安门",
  "analyzer": "ik_max_word"
}

显示的结果为：

{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "爱",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "北京",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "天安门",
      "start_offset" : 4,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "天安",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "门",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "CN_CHAR",
      "position" : 5
    }
  ]
}

从上面的结果我们可以看出来，在我们的 token 中显示 “北京”，“天安” 及 “天安门”。这个和我们之前的是不一样的。

下面，我们输入两个文档：

PUT /chinese/_doc/1
{
  "content":"我爱北京天安门"
}

PUT  /chinese/_doc/2
{
  "content": "北京，你好"
}

那么我们可以，通过如下的方式来进行搜索：

GET /chinese/_search
{
  "query": {
    "match": {
      "content": "北京"
    }
  }
}

我们显示的结果是：

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 0.15965709,
    "hits" : [
      {
        "_index" : "chinese",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 0.15965709,
        "_source" : {
          "content" : "北京，你好"
        }
      },
      {
        "_index" : "chinese",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.100605845,
        "_source" : {
          "content" : "我爱北京天安门"
        }
      }
    ]
  }
}

因为两个文档里都含有 “北京”，我们可以看出来两个文档都被显示出来了。

我们同时做另外一个搜索：

GET /chinese/_search
{
  "query": {
    "match": {
      "content": "天安门"
    }
  }
}

那么显示的结果是：

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 0.73898095,
    "hits" : [
      {
        "_index" : "chinese",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.73898095,
        "_source" : {
          "content" : "我爱北京天安门"
        }
      }
    ]
  }
}

因为 “天安门” 只出现在第二个文档里，所以，我们可以看出来只有一个结果。

我们也同时做另外一个搜索：

GET /chinese/_search
{
  "query": {
    "match": {
      "content": "北京天安门"
    }
  }
}

在这里，我们来搜索“北京天安门”。请注意我们在 mapping 中使用了

"search_analyzer": "ik_smart"

也就是说，search_analyzer 会吧我们的“北京天安门”，分解成两个词 “北京” 及 “天安门”。这两个词将被用于搜索。通常对于 match 来说是 OR 关系，也就是说只要匹配到 “北京” 或 “天安门”，这两个之中的任何一个，那么就是匹配：

{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 0.7268042,
    "hits" : [
      {
        "_index" : "chinese",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.7268042,
        "_source" : {
          "content" : "我爱北京天安门"
        }
      },
      {
        "_index" : "chinese",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 0.22920427,
        "_source" : {
          "content" : "北京，你好"
        }
      }
    ]
  }
}

上面显示的结果显示 “我爱北京天安门” 是最贴切的搜索结果。

如果大家想对 pinyin 分词器有兴趣的话，请参阅文章 “Elasticsearch：Pinyin analyzer”。

参考：

【1】https://github.com/medcl/elasticsearch-analysis-ik

博客
Elasticsearch：没有 “AG” 的 RAG？
04-30 1291
了解如何利用语义搜索和 ELSER 构建一个强大且视觉上吸引人的问答体验，而无需使用 LLMs。想要获得 Elastic 认证？查看下一期的时间！Elasticsearch 拥有众多新功能，帮助你为你的用例构建最佳搜索解决方案。深入学习我们的，了解更多信息，开始，或立即在上尝试 Elastic。你可能听说过（Retrieval Augmented Generation - 检索增强生成），这是一种将你自己的文档与 LLM 结合，以生成类人回答的常用策略。
博客
Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
10-28 2万+
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
博客
Elastic：开发者上手指南
02-25 16万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster,n..........................................................
博客
Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
01-06 1万+
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
博客
Elasticsearch 简介
08-08 17万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
博客
在 Elastic 中使用 JOIN 进行威胁狩猎！
05-01 980
LOOKUP JOIN 在许多安全工作流中已经证明了其极大的实用性，但这只是开始。如Elasticsearch 博客中所述，这种类型的连接最接近于 SQL 风格的 LEFT OUTER JOIN，除了改善整体用户体验外，我们还计划扩展连接功能（例如 INNER 连接）。此外，这项功能还使其他搜索语言的语法转换成为可能。请阅读我们最近的博客，了解更多有关自动迁移的信息！总结一下，这种新的连接功能是安全分析师工具箱中的另一个工具，Elastic 搜索 AI 技术提供了许多先进的技术来保护您的数据免受攻击。
博客
Elasticsearch 根据两个字段搜索
05-01 840
探索通过两个字段进行搜索的技术，包括 multi-match 查询、bool 查询和查询时字段加权。想要获得 Elastic 认证？查看下一期的时间！Elasticsearch 拥有众多新功能，帮助你为你的用例构建最佳搜索解决方案。深入学习我们的，了解更多信息，开始，或立即在上尝试 Elastic。在 Elasticsearch 中跨多个字段进行搜索是许多应用中的常见需求。
博客
Elastic Security 8.18 和 9.0 中的新功能
04-30 658
Elastic Security 8.18 和 9.0 带来了帮助安全运营团队更高效工作、快速响应威胁的更新。此版本包括为 Splunk SIEM 用户提供的迁移支持、新的 ES|QL Lookup Join 功能，简化数据丰富和分析，以及多个可用性改进。攻击发现和自动导入现在已正式发布（GA），并且对 Elastic AI Assistant 的改进以及对自定义检测规则的支持也已加入。
博客
Elasticsearch 在 Google Axion 处理器（C4A）上的运行速度提升高达 40%
04-30 435
Elastic 与 Google Cloud 合作，在 C4A 上实现比上一代虚拟机更高的索引吞吐量。这篇文章将介绍我们在 Google Cloud 的 Google Axion 处理器上对 Elasticsearch 进行宏基准测试的结果。，旨在提供更高的性能和效率。我们正在与 Google Cloud 合作，寻找机会为我们的共同客户持续提供最佳体验。我们很高兴地确认，基于 Google Axion 处理器的虚拟机实例系列将帮助我们实现这一目标。
博客
Elasticsearch：一家全球银行如何将搜索引擎转变为其数据支柱
04-30 834
BBVA 通过使用 Elastic 将超过 450 亿个数据点统一到 50 多个银行服务中，实现了客户体验和运营洞察的转型，并实现了亚秒级响应时间。当 BBVA 的 David Jiménez Ausin 回顾 2014 年时，他看到的是一个截然不同的银行业景观。“几乎一切都还通过网页渠道，因为 [银行] 应用程序并不像现在这么成熟，而且每个服务的资讯都存在各自的系统中，” 他回忆道。作为服务于。
博客
Elasticsearch：ES|QL lookup JOIN 介绍 - 8.18/9.0
04-29 1201
​ES|QL LOOKUP JOIN 处理命令将你的 ES|QL 查询结果表中的数据与指定的查找索引中的匹配记录合并。它根据联接字段中的匹配值，将查找索引中的字段作为新列添加到结果表中。团队常常将数据分散在多个索引中，例如日志、IP、用户 ID、主机、员工等。如果没有直接的方式来丰富或关联每个事件与参考数据，那么根本原因分析、安全检查和操作洞察将变得耗时。
博客
Elasticsearch 内存使用指南
04-29 1045
探索 Elasticsearch 的内存需求以及不同类型的内存统计信息。Elasticsearch 拥有丰富的新功能，帮助你为你的使用场景构建最佳搜索解决方案。浏览我们的了解更多信息，开始，或者现在就在上体验 Elastic。
博客
Elastic Platform 8.18 和 9.0：ES|QL Lookup Joins 功能现已推出，Lucene 10！
04-28 1290
Elastic 最新发布的 8.18 和 9.0 版本包含了强大的更新，将显著提升你的体验、增强查询性能并优化日志管理。无论你是在处理搜索、可观察性还是安全用例，本次发布都带来了大量新特性，旨在提高工作流效率并解锁新的可能性。在这篇博客中，我们将按主要主题分解 Elasticsearch 和 Kibana 的关键更新：ES|QL 改进Elasticsearch logsdb 索引模式优化搜索和索引增强Kibana 用户体验升级Lucene 性能提升。
博客
Elastic Observability 9.0/8.18：EDOT 现已正式发布，支持 LLM observability ，以及更多功能
04-28 999
Elastic Observability 9.0/8.18 宣布了几项关键功能：1）​Elastic Distributions of OpenTelemetry （ EDOT ）正式发布 2）​面向 GenAI 应用的 LLM observability 3）对 Logstash 的性能和安全性改进、Elastic Agent 对 AWS EKS 的支持，以及 Discover 的增强。​
博客
Elasticsearch 9.0 和 8.18：为开发者精心打造，带来更快速的 BBQ 体验 — 比 OpenSearch 快 5 倍
04-28 779
我们很高兴向 Elastic Cloud 和自托管用户发布 Elasticsearch 9.0 和 8.18 版本。这些版本中的功能已经向我们的 Elastic Cloud Serverless 用户，他们可以使用在 AWS、和上提供的完全托管的 Elasticsearch。
博客
Elastic Cloud Serverless 现在在 Google Cloud 上正式发布
04-28 1042
Elastic Cloud Serverless 提供了启动和扩展安全、可观察性和搜索解决方案的最快方式 — 无需管理基础设施。今天，我们很高兴宣布 Elastic Cloud Serverless 在 Google Cloud 上正式发布 — 现在已在爱荷华（us-central1）区域提供。Elastic Cloud Serverless 提供了启动和扩展可观察性、安全性和搜索解决方案的最快方式，无需管理基础设施。它基于业界首个。
博客
Elastic Security 简化了预构建 SIEM 检测规则的自定义
04-28 874
自定义和更新预构建 SIEM 检测规则变得更简单了，提升了精准度，扩大了覆盖范围，并节省了时间。使用 Elastic Security，定制和更新预构建检测规则变得前所未有的简单。我们简化了检测工程工作流程，并通过开箱即用的 SIEM 检测规则实现了更广泛的用例覆盖。提供了 1,300 多条由专家编写的检测规则，这些规则映射到中的战术、技术和程序（TTPs）。我们的研究工程师积极维护和优化这些规则，每两周发布一次更新，帮助你在不断演变的威胁面前保持领先，而无需手动维护的负担。
博客
使用 LangGraph 和 Elasticsearch 构建强大的 RAG 工作流
04-26 1233
在这篇博客中，我们将向你展示如何配置和自定义 LangGraph Retrieval Agent 模板与 Elasticsearch，以构建一个强大的 RAG 工作流，实现高效的数据检索和由 AI 驱动的响应。本博客重点介绍如何使用 LangGraph Studio 和 LangGraph CLI 运行并自定义 LangChain Retrieval Agent Template。该模板为构建检索增强生成（RAG）应用提供了框架，并支持多种检索后端，如 Elasticsearch。
博客
更智能的银行体验：生成式 AI 与语义搜索的实际应用
04-25 795
了解 Elastic 与生成式 AI 如何正在改变银行业务，从个性化服务到具备上下文感知的搜索以及更智能的客户支持。在上，Elastic 的首席解决方案架构师 Tim Brophy 解释了。该会议讨论了四个关键挑战：让交易搜索真正为客户服务提升聊天机器人交互，利用实时知识提供个性化客户推荐提高运营效率Brophy 解释道：“生成式 AI 不仅仅是提高效率，它还代表着创新和更深层次的客户互动。
博客
检测特权访问活动：一个新的 Kibana 集成
04-25 1114
特权访问活动是指由具有高权限的用户（如系统管理员或服务账户）执行的操作。这些用户可以修改系统配置、访问敏感数据、管理用户角色、安装软件、更改安全策略，并直接与关键控制系统进行交互。传统的安全措施依赖于预定义的规则和特征签名，但这些方法往往无法检测出新型或复杂的攻击模式。由于特权用户会执行各种管理任务，区分正常操作和可疑行为是一个挑战。特权访问检测包通过机器学习建立用户和实体的行为基线，从而检测出偏离正常使用模式的异常行为。目前，该包主要关注来自合法账户的异常特权访问活动，例如基于管理员的事件和命令。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值