ElasticSearch中分词器以及分词原理：听课笔记（38讲-45讲）

最新推荐文章于 2024-08-13 17:43:38 发布
最新推荐文章于 2024-08-13 17:43:38 发布
阅读量1.7k 收藏
点赞数 1
分类专栏： ElasticSearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyqwilliam/article/details/82973321
版权
本文是关于ElasticSearch中分词器的听课笔记，涵盖了从第38讲到第45讲的内容。讲解了分词器的作用，如normalization处理，以及默认的standard分词器如何处理连词和冠词。还提及了date字段的倒排索引匹配方式，并介绍了如何测试分词器。同时指出，ElasticSearch的field mapping一旦建立，无法修改，只能新增。英文和中文分词器对待冠词的方式不同，并强调了keyword类型字段不会被分词。
摘要由CSDN通过智能技术生成

第38讲

第39讲

第40讲

第41讲

分词器：拆分词语，做normalization（时态转换，单复数转换，同义词，大小写的转换）

默认情况下是standard状态࿰

最低0.47元/天 解锁文章
道法—自然
关注
专栏目录
19年全新录制Elasticsearc7.X搜索引擎项目实战Java架构全套视频教程
09-06
 
Elasticsearch的分词技术全面解析
专注于数据库技术分享，包含但不限于Oracle，MySQL，PostgreSQL，ElasticSearch及国产数据库等
04-20 1232
是将文本字符串拆分成独立的词汇或术语的过程。在 Elasticsearch 中，分词通常发生在索引文档时，确保搜索时能够匹配到正确的词汇片段。分词的目标是生成有意义的、可比较的 tokens，同时兼顾搜索效率和查询语义理解。Elasticsearch 允许为索引中每个字段指定不同的分析器，以适应各种文本类型和搜索需求。这可以通过在索引映射（mapping）中设置。是分词工作的核心，它包含了一个完整的文本分析流程。响应将包含分词后的 tokens 列表，帮助验证分析器配置是否符合预期。
【ES】--Elasticsearch的分词器详解
寻梦友的博客
02-12 2042
最近项目需求，针对客户提出搜索引擎业务要做到自定义个性化，如输入简体或繁体能能够互相查询、有的关键词不能被分词搜索等等。为更好解决这些问题，“分词器”的原理和使用至关重要。
ElasticSearch分词器
最新发布
qq_44027353的博客
08-13 1121
这样当我们去搜索某个关键词时，ES 首先根据它的前缀或者后缀迅速缩小关键词的在 term dictionary 中的范围，大大减少了磁盘IO的次数。为了进一步提高索引效率，ES对trem的前缀或后缀构建了trem index，用于对trem本身的索引，如下图所示。基本处理逻辑为按照预先制定的分词规则，把原始文档分割成若干更小粒度的词项，粒度大小取决于分词器规则。Elasticsearch 的JSON文档中的每个字段，都有自己的倒排索引。记录所有文档的trem，记录trem和倒排列表的关联关系。
ElasticSearch之分词及原理
scorpio的博客
10-23 1915
ElasticSearch之分词及原理
elasticsearch-分词测试
小蜗牛的博客
06-29 816
分词结果： { "tokens": [ { "token": "今天天气", "start_offset": 0, "end_offset": 4, "type": "CN_WORD", "position": 0 }, { "token": "今天", "start_offset...
7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器
08-07
elasticsearch-analysis-ik 是一个常用的中文分词器，在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个主要特点： 中文分词：elasticsearch-analysis-ik 是基于...
elasticsearch-7.17.10-x86-64已安装插件 ik分词器、head、ingest-attachment
02-04
1. **ik分词器**：这是Elasticsearch中非常流行的中文分词器，由“智慧眼”团队开发。ik分词器支持多种分词模式，包括精确模式、全模式、关键词模式等，能够满足不同场景下的中文文本处理需求。它的存在使得Elastic...
IK分词器elasticsearch-analysis-ik-7.17.16
12-24
IK分词器是针对Elasticsearch设计的一款强大的中文分词插件，其全称为"elasticsearch-analysis-ik"。在Elasticsearch中，分词器的作用至关重要，它负责将用户输入的文本进行词汇切分，以便进行后续的搜索和分析操作...
windows版本ES7.17.3中文分词器elasticsearch-analysis-ik-7.17.3 .zip
02-05
用于elasticsearch7.17.3这个版本的ik中文分词器，考虑到官网有时网络不稳定下载不下来，这里特意上传，方便大家使用； 目录结构如下： config -- 文件夹 plugin-security.policy plugin-descriptor.properties ...
elasticsearch-analysis-pinyin-7.4.0 es拼音分词器7.4.0
04-05
《Elasticsearch拼音分词器7.4.0在大数据全文检索中的应用》 Elasticsearch（简称ES）是一款强大的开源搜索引擎，广泛应用于大数据领域的全文检索。它以其高可扩展性、实时性能以及丰富的分析能力著称。在中文环境...
（06）ElasticSearch 分词器介绍及安装中文分词器
weixin_30244889的博客
08-24 140
分词器作用是分词，即从一串文本中切分出一个个的单词（词条），并对每个词条进行标准化处理（大小写、单复数、同义词等转换）。分词器包括3部分： 　　1、character filter：分词之前的预处理，过滤掉html标签，特殊符号转换等。 　　2、tokenizer：分词， 　　3、token filter：标准化 ElasticSearch内置分词器： 　　1、standard...
ElasticSearch基本原理
大数据进阶之路
02-25 5275
ElasticSearch 基本原理 搜索原理 ElasticSearch简介 ElasticSearch就是独立的网络上的一个或一组进程节点 它能对外提供搜索服务（使用http或transport协议），自从ElasticSearch 7.0开始，主要支持http协议 ElaticSearch对内其实就是一个数据库 分词 搜索是以词为单位做最基本单位的搜索单元，依赖分词器构建分词，用分词器倒...
Elasticsearch之插件Ik分词器详细测试
一笑生风
11-08 3440
Elasticsearch之插件Ik分词器详细测试 elasticsearch版本：6.7.2 这里主要测试三种分词器：Ik（ik_smart 、 ik_max_word）,standard（es自带的） 先看三种分词器分词效果： 可以看出 ik_smar ：智能中文语法拆分 | ik_max_word ：中文语法详细拆分 | standard：逐...
ES-IK分词器的概念和基本使用
jc15274630894的博客
04-21 4896
ES-IK分词器的概念和基本使用
elasticsearch学习（六）：IK分词器
热门推荐
weixin_40482816的博客
09-19 1万+
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。1）采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。
ElasticSearch四：文档算分原理、分词器分词流程与自定义分词器、分词器热更新、高亮查询、组合查询、分组聚合语法
Xx__WangQi的博客
03-17 1252
ElasticSearch四：文档算分原理、分词器分词流程与自定义分词器、分词器热更新、高亮查询、组合查询、分组聚合语法 回顾: 集群状态 如何快速了解集群的健康状况？green、yellow、red？ green：每个索引的primary shard和replica shard都是active状态的 yellow：每个索引的primary shard都是active状态的，但是部分replica shard不是active状态，处于不可用的状态 red：不是所有索引的primary shard
ElasticSearch-IK分词器(elasticsearch插件)安装配置和ElasticSearch的Rest命令测试
小孔靠得住的博客
02-02 3173
ElasticSearch-IK分词器(elasticsearch插件)安装配置和ElasticSearch的Rest命令测试
优化中文分词：Elasticsearch安装IK分词器教程
本文主要介绍了如何在Elasticsearch中安装并使用IK分词器来提升中文文本处理的效果。默认情况下，Elasticsearch的内置分词器对中文支持不足，会将每个汉字作为单独的词语。而IK分词器是专为Elasticsearch设计的中文...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值