IK分词器详解

已于 2023-05-31 11:25:17 修改
阅读量1.1k 收藏 1
点赞数
文章标签： elasticsearch 搜索引擎 大数据
于 2021-03-28 13:16:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40419080/article/details/115279006
版权

文章目录

IK分词器插件

在这里插入图片描述
下载IK分词器，解压到plugins目录里（注意版本对应）
下载地址：https://github.com/medcl/elasticsearch-analysis-ik
在这里插入图片描述
之后需要重启elasticSearch

ik_smart,ik_max_word分别是最少切分，最多切分（最细粒度）
在这里插入图片描述
在这里插入图片描述

自定义 字典加入到分词器当中

自己需要的词，不需要拆分，自定义词
在这里插入图片描述
在这里插入图片描述
如：
新建词典文件lhh.dic, lhhstop.dic
在这里插入图片描述
在这里插入图片描述

导入配置词典文件
在这里插入图片描述
重启ES

在这里插入图片描述
在这里插入图片描述

水岸齐天
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
ik分词器
ne_123456的博客
08-17 1317
IK分词器是ES的一个插件，主要用于把一段中文或者英文的划分成一个个的关键字,我们在搜索时候会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作,默认的中文分词器是将每个字看成一个词,比如"我爱技术"会被分为"我","爱","技","术",这显然不符合要求,所以我们需要安装中文分词器IK来解决这个问题；ik_smart和ik_max_wordik_smart为最少切分，添加了歧义识别功能，推荐；ik_max_word为最细切分，能切的都会被切掉；安装到es中的plugins.
elasticsearch笔记之ik分词器详解
qq_41486775的博客
02-25 2068
文章目录一、ik分词器是什么？二、使用步骤1.开启服务验证2.ik分词器演示总结 一、ik分词器是什么？ 我们都知道，在平时使用搜索引擎搜索东西的时候，我们自己输入的关键字，有可能会被分隔成好几个字或者词，最常见的比如我们使用百度搜索关键字的话，那么所有与该关键字相关的都会显示出来，并把出现关键字的文档标红，而且单条记录可能出现多个标红，如图所示 或者像这样的。，但凡与你的 或者像这样的，但凡文档当中出现了一个或者多个与搜索的关键相匹配的文本，都会被标红。 于是乎，今天我们的主角闪耀登场了，他就是ela
IK中文分词器详细介绍
08-22
IK中文分词器详细介绍。
IK分词器的介绍、安装、测试
lfylucky的博客
12-05 1657
IK分词器 什么是IK分词器？ 默认的中文分词是将每个字看成一个词，这显然是不符合要求的，所以我们需要安装中 文分词器来解决这个问题。 IK分词是一款国人开发的相对简单的中文分词器。虽然开发者自2012年之后就不在维护 了，但在工程应用中IK算是比较流行的一款！我们今天就介绍一下IK中文分词器的使用。 IK分词器安装 下载地址：https://github.com/medcl/...
Elasticsearch介绍、安装以及IK分词器 --学习笔记
最新发布
m0_71386740的博客
07-19 1821
Elasticsearch 是一个高度可扩展的开源全文搜索和分析引擎。它允许你以极快的速度存储、搜索和分析大量数据。Elasticsearch 基于 Apache Lucene 构建，提供了一个分布式、多租户能力的全文搜索引擎，带有 HTTP web 接口和无模式 JSON 文档。这意味着你可以用 Elasticsearch 存储、搜索、分析的数据种类非常广泛，几乎可以适用于任何类型的用例。
IK分词器
qq_40837310的博客
09-10 5581
什么是IK
IK中文分词器原理
05-12
详细讲解IK分词器原理
ik分词器tar包 7.10.2
03-03
**IK分词器详解** IK分词器是针对Elasticsearch（ES）的一款热门中文分词插件，其全称为“Intelligent Chinese Analyzer for Elasticsearch”。它由Java编写，旨在为中文文档提供高效、准确的分词处理。版本7.10.2...
IK分词器elasticsearch-analysis-ik-7.17.16
12-24
**IK分词器详解** IK分词器是针对Elasticsearch设计的一款强大的中文分词插件，其全称为"elasticsearch-analysis-ik"。在Elasticsearch中，分词器的作用至关重要，它负责将用户输入的文本进行词汇切分，以便进行...
ik分词器7.17.10
06-19
**ik分词器7.17.10详解** 在中文搜索引擎和数据分析领域，分词器扮演着至关重要的角色。ik分词器是为Elasticsearch（ES）设计的一款高效、可扩展的中文分词工具，它能有效地将中文文本拆分成一个个独立的词语，便于...
03-ES核心概念理解&IK分词器详解
2401_83411843的博客
04-14 1058
这份清华大牛整理的进大厂必备的redis视频、面试题和技术文档祝大家早日进入大厂，拿到满意的薪资和职级~~~加油！！！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！和技术文档**祝大家早日进入大厂，拿到满意的薪资和职级~~~加油！！！[外链图片转存中…(img-pnoNj4qb-1713031596369)]《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
基于IKAnalyzer.NET的分词工具（包含dll）
04-22
这个分词是前一段需要用时，在网上扒了好久，才找到的一个，而且年代久远，但是还能用，所以记录一下。 基于IKAnalyzer.NET的分词工具（包含dll） 下载可以直接运行
什么是IK分词器
L__MY的博客
07-13 3234
我们在浏览器地址栏输入http://127.0.0.1:9200/_analyze? analyzer=chinese&pretty=true&text=我是程序员，浏览器显示效果如下 { "tokens" : [ { "token" : "我", "start_offset" : 0, "end_offset" : 1, "type" : "", "position" : 0 ...
ElasticSearch之IK分词器安装以及使用介绍
热门推荐
qq_39939541的博客
07-27 1万+
elasticsearch 默认的内置分词器对中文的分词效果可能并不理想，因为它们主要是针对英文等拉丁语系的文本设计的。如果要在中文文本上获得更好的分词效果，我们可以考虑使用中文专用的分词器。IK 分词器是一个开源的中文分词器插件，特别为 Elasticsearch 设计和优化。它在中文文本的分词处理上表现出色，能够根据中文语言习惯进行精细的分词。IK 分词器允许用户自定义词典，可以添加新词、调整词频等，以便更好地适应特定的领域或需求。自定义词典可以提高分词的准确性和召回率。
IK分词器：深入了解中文分词的神兵利器
shiranyyds的博客
05-10 1130
词典分词是IK分词器的基础。首先，IK分词器会维护一个包含大量中文词汇的词典。在分词过程中，IK分词器会按照以下步骤进行：文本预处理：IK分词器会将输入的文本进行预处理，包括去除标点符号、空格等无关字符，以及转换为小写（如果需要）。词典匹配：IK分词器会从文本的起始位置开始，依次与词典中的词汇进行匹配。它使用了一种称为“最大匹配法”的策略，即尽可能匹配最长的词汇。具体来说，IK分词器会尝试从当前位置开始，向后匹配词典中的词汇，直到无法匹配为止。候选词生成：通过词典匹配，IK分词器会生成一系列候选词。
elasticsearch学习（六）：IK分词器
weixin_40482816的博客
09-19 1万+
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。1）采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。
elasticsearch安装和使用ik分词器，Java面试题及解析
m0_64384202的博客
12-26 1307
POST test002/_analyze?pretty=true {“text”:“我们是软件工程师”} 收到响应如下，可见每个汉字都被拆分成一个词了，这样会导致词项搜索时收不到我们想要的(例如用"我们"来搜索是没有结果的)： { “tokens”: [ { “token”: “我”, “start_offset”: 0, “end_offset”: 1, “type”: “”, “position”: 0 }, { “token”: “们”, “start_offset”: 1, “end_offset
中文分词入门：使用IK分词器进行文本分词（附Java代码示例）
weixin_44107140的博客
07-16 7322
中文分词在文本处理和信息检索中扮演着重要的角色。本文将介绍IK分词器，一个基于Lucene的开源中文分词工具。我们将详细讨论IK分词器的特点和使用方法，并提供一个简单的Java示例来演示如何使用IK分词器进行中文文本分词。
ik分词器 分词原理_分词技术及开源分词器
weixin_35377249的博客
12-27 367
分词是自然语言处理的第一步，这里主要从序列标注的角度递进介绍HMM如何实现分词，然后介绍分词工具的使用，在NLP中，分词、词性标注和命名实体识别都属于标注任务，也就是对token进行分词，对于分词任务难点有以下几个：新词的发现 未登陆此（人名、地名、商标名、公司名称）2. 词典与算法优先级 我们 中信 仰 佛教 的 人3. 歧义（颗粒度、交集等） 股份 有限公司 、郑州天和服装厂...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值