ES核心概念、IK分词器

最新推荐文章于 2023-04-08 16:50:00 发布
最新推荐文章于 2023-04-08 16:50:00 发布
阅读量345 收藏 1
点赞数
分类专栏： ES学习记录 文章标签： elasticsearch 大数据 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56017821/article/details/126808750
版权

目录

ES核心概念

 倒排索引

IK分词器

什么是ik分词器？

安装ik分词器

使用Kibana测试

ik分词器增加自定义词汇

 

ES核心概念

 

 

 倒排索引

 

   当用户在主页上搜索关键词“华为手机”时，假设只存在正向索引（forward index），那么就需要扫描索引库中的所有文档，找出所有包含关键词“华为手机”的文档，再根据打分模型进行打分，排出名次后呈现给用户。因为互联网上收录在搜索引擎中的文档的数目是个天文数字，这样的索引结构根本无法满足实时返回排名结果的要求。

       正向索引   相当于通过key找value

所以，搜索引擎会将正向索引重新构建为倒排索引，即把文件ID对应到关键词的映射转换为关键词到文件ID的映射，每个关键词都对应着一系列的文件，这些文件中都出现这个关键词。

        倒排索引  相当于通过value去找key   即从词的关键字，去找文档。

IK分词器

什么是ik分词器？

 

安装ik分词器

 github下载网址：Releases · medcl/elasticsearch-analysis-ik · GitHub

版本也要对应

下载并解压到插件目录下：  

 

查看加载进来的插件：

使用Kibana测试

 ik_smart:

按顺序打断点分词，不会重复出现

ik_max_word : 最细粒度划分，穷尽词库的可能

 

自己需要的词，需要自己加到分词器的字典中

ik分词器增加自定义词汇

 

 新建一个自定义字典dic

 

 

 重启ES

 

未配置字典时：

配置字典后 ：

 

Java_Xjc
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ik分词器tar包 7.10.2
03-03
ik分词器tar包 7.10.2
ElasticSearch 学习8 ：ik分词器的扩展，及java调用ik分词器的analyzer
最新发布
zhaofuqiangmycomm的博客
10-08 3091
上篇已经说过ik的集成，这篇说下ik的实际使用。
ES入门学习：ElasticSearch、Kibana、ik分词器的安装、简单使用及SpringBoot集成
雅俗共赏的博客
10-24 5676
ES入门学习：ElasticSearch、Kibana、ik分词器的安装、简单使用及SpringBoot集成
elasticsearch学习（六）：IK分词器
热门推荐
weixin_40482816的博客
09-19 1万+
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。1）采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。
Elasticsearch使用系列-ES增删查改基本操作+ik分词
she8656837的专栏
03-09 1435
可以看到“爱祖国”的分词结果为“爱，祖，国”，被拆分成了单个字，只要一个字匹配到就查出来，这样的结果很多不是我们想要的。这里说一下kibana执行的原理，kibana执行的是http请求，前面的PUT为请求方式，还有POST,GET等，后面的user是索引名称，因为kibana配置了es的信息，数值：long，integer，short，byte，double，float，half float，scaled float。这里的数据类型标红的是ES的重点类型，其它的和平时开发的类型一样，没什么特别。
Elasticsearch使用ik分词器
知识追寻者(Inheriting the spirit of open source, Spreading technology knowledge;)
02-10 2406
分析器 什么是分词概念？分析器能使用到哪些场景？ 分词意思就是将词语进行分组切片；比如 你好啊 可能就会被分词 为 “你好” 和 “啊”； 在进行搜索时如果根据高亮匹配就会将 “你好” 或者 “啊” 所有匹配的标题内容都匹配出来； 分析器一般就是使用在搜索引擎上；比如百度搜索 mysql时间减7天 就会匹配到 mysql, 时间 ， 减 ， 7天相匹配的内容； 如下的词条经过不同的分析器会得到不同的词条： "Set the shape to semi-transparent by calling se
elasticsearch7.8.0版本的IK分词器
12-30
elasticsearch7.8.0版本的IK分词器
elasticsearch-ik中文分词器7.6.2.zip
04-11
用于elasticsearch7.6.2配套的中文分词器，欢迎大家使用 下面是它的描述，用于elasticsearch7.6.2配套的中文分词器，
Elasticsearch 7.6.2(已集成ik分词器)
08-26
Elasticsearch 7.6.2 已集成ik分词器 解压后运行bin目录下,elasticsearch.bat文件
ik分词器7.17.10
06-19
ik分词器7.17.10
es中文分词器ik
04-14
es中文分词器ikes中文分词器ikes中文分词器ikes中文分词器ikes中文分词器ik
Elasticsearch之中文分词器插件es-ik（基于es2.4.0版本）
07-06
如果直接使用Elasticsearch的朋友在处理中文内容的搜索时，肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字，当用Kibana作图的时候，按照term来分组，结果一个汉字被分成了一组。 这是因为使用了Elasticsearch中默认的标准分词器，这个分词器在处理中文的时候会把中文单词切分成一个一个的汉字，因此引入es之中文的分词器插件es-ik就能解决这个问题。
ES搜索框架--设置IK分词器
qq_51641196的博客
04-08 3294
ES的默认中文分词效果太差了，稍微长一点的词句就完全匹配不到，于是选择使用安装IK中文分词器来实现索引的分词。参考：https://blog.csdn.net/w1014074794/article/details/119762827https://www.bbsmax.com/A/6pdDqDaXzw/一、安装官网教程：https://github.com/medcl/elasticsearc...
ElasticSearch集成IK分词器QueryDSL查询
喜羊羊love红太狼
06-06 871
第一步：创建索引 创建索引时分词类型text的字段指定IK分词器 { "mappings":{ "log_type":{ "properties":{ "name":{ "type":"keyword" }, "age":{ "type":"integer" },
Elasticsearch
vengu733的博客
12-25 2106
项目ESSolr安装简单，开箱即用复杂分布式自带分布式协调管理功能利用zookeeper分布式管理支持类型JSON功能注重核心功能，其他功能借助于第三方插件提供功能更多查询速度建立索引快，查询慢，实时查询快，推特，新浪实时应用查询快，增删改查慢，传统应用社区学习成本高，开发维护者少，更新快社区成熟。
ES的java API设置ik分词器ik_max_word和ik_smart
Heikepengmu的博客
12-27 2122
ES搜索关键字指定ik分词为ik_max_word，也可以指定分词为ik_smart。
Elasticsearch_分词器、搜索文档以及原生JAVA操作
weixin_49076273的博客
02-21 2493
需要对一段内容既进行文字分词，又进行拼音分词，此时需要自定义ik+pinyin分词器。在创建索引时设置自定义分词器//自定义分词器名 "tokenizer" : "ik_max_word" , //基本分词器 "filter" : "pinyin_filter" //配置过滤分词器 } } , "filter" : {
搜索引擎ES--IK分词器
李嘉图呀李嘉图的博客
05-30 7578
集成IK分词器 概要：IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。新版本的IKAnalyzer3.0发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。 3.0特性： 1）采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。 2）采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。
IK分词器
F0217911的博客
08-27 942
如果要让分词器支持一些专有词语，可以自定义词库。iK分词器自带的main.dic的文件为扩展词典，stopword.dic为停用词典。也可以上边的目录中新建一个my.dic文件（注意文件格式为utf-8（不要选择utf-8 BOM））可以在其中自定义词汇：比如定义：配置文件中 配置my.dic，...
elasticsearch里面的ik分词器
03-28
IK分词器在Elasticsearch中作为一个插件来使用，它可以通过简单的配置与Elasticsearch进行集成，为用户提供中文分词功能，提高搜索的准确性和效率。IK分词器支持多种分词模式，包括最大化匹配、最小化匹配、粗粒度...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值