Elasticsearch个人心得笔记（四）

最新推荐文章于 2024-07-04 19:59:10 发布
最新推荐文章于 2024-07-04 19:59:10 发布
阅读量784 收藏
点赞数 1
分类专栏： Elasticsearch Head IK分词器 文章标签： IK分词器 ES
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiuY521/article/details/91345534
版权

                        ELASTICSEARCH的mapping设置

目录

                        ELASTICSEARCH的mapping设置

一.mapping映射结构

1.1动态映射

2.静态手动映射

3.对比数据库

4.对象与json的转化

1.一个普通类的对象

2.稍微复杂一些的对象

3.之前JSON数据转换为Java对象

二.ik分词器插件引入到ELASTICSEARCH

1.文件拷贝

2.安装依赖（已有不要安装）

3.解压

4.删除安装包

5.进入到Config文件夹

6.将elasticsearch的文件夹名称修改成analysis-ik

7.重新启动es加载plugins中的ik分词器

8.访问es提供的接口,实现不同的分词器使用

9.配置扩展和停用词典

1.plugins目录下的ik分词器中config文件夹中找到IKAnalyzer.cfg.xml

2.没找到，去上传一份

3.找错文件夹 上一步可以不用做

4.配置扩展和停用

5.生成对应的词典们

6.输出结果

10.通过mapping设置将ik_max_word作为字符串类型的分词器使用

1.index05中,定义article

2.新建一个index05

3.在index05中添加一个article类型的自定义mapping结构

4.index05的article类型中新增几个document

5.验证是否使用了ik分词器将title中java编程思想分词计算为{java}{编程}{思想}

​​​​​​​

一.mapping映射结构

1.1动态映射

在新增任何数据之前的空索引中,动态mapping没有配置,空的内容

1.添加一个新的index03

2.查询mapping 状态

返回结果

{"index03":{"mappings":{}}}

  • 一旦添加任何数据到索引中,mapping结构会根据你的数据类型

  1. {
  2.     "index03": {
  3.         "mappings": {
  4.             "article": { //对article类型定义的映射配置
  5.                 "properties": { //mapping中的具体属性
  6.                     "content": { //content域的设置
  7.                         "type": "text", //字符串类型,并且根据text定义分词计算
  8.                         "fields": { //对一个域的属性做扩展
  9.                             "keyword": { //查询可用域
  10.                                 "type": "keyword", //keyword类型相当于lucene底层使用的StringField类型, 整体也可以作为一词项使用
  11.                                 "ignore_above": 256//作为整体使用时,字符串超过256字节,keyword类型就不生效了
  12.                            }
  13.                         }
  14.                     },
  15.                     "id": {
  16.                         "type": "text",
  17.                         "fields": {
  18.                             "keyword": {
  19.                                 "type": "keyword",
  20.                                 "ignore_above": 256
  21.                             }
  22.                         }
  23.                     },
  24.                     "title": {
  25.                         "type": "text",
  26.                         "fields": {
  27.                             "keyword": {
  28.                                 "type": "keyword",
  29.                                 "ignore_above": 256
  30.                             }
  31.                         }
  32.                     }
  33.                 }
  34.             }
  35.         }
  36.     }
  37. }
  38.  
  • 在index03中添加一个新的域,给定一个值不是字符串是整数"product_id":1
  1. {
  2.     "index03": {
  3.         "mappings": {
  4.             "article": {
  5.                 "properties": {
  6.                     "content": {
  7.                         "type": "text",
  8.                         "fields": {
  9.                             "keyword": {
  10.                                 "type": "keyword",
  11.                                 "ignore_above": 256
  12.                             }
  13.                         }
  14.                     },
  15.                     "id": {
  16.                         "type": "text",
  17.                         "fields": {
  18.                             "keyword": {
  19.                                 "type": "keyword",
  20.                                 "ignore_above": 256
  21.                             }
  22.                         }
  23.                     },
  24.                     "product_id": {
  25.                         "type": "long"
  26.                     },
  27.                     "title": {
  28.                         "type": "text",
  29.                         "fields": {
  30.                             "keyword": {
  31.                                 "type": "keyword",
  32.                                 "ignore_above": 256
  33.                             }
  34.                         }
  35.                     }
  36.                 }
  37.             }
  38.         }
  39.     }
  40. }

对于某个索引,中某个类型中的某个域属性,一旦动态映射完成,无法修改;添加数据之前提前将mapping做好

2.静态手动映射

新增一个index04,新增数据之前,将其对应artilce类型中的content只定义为text,id定义为"integer"/"int",title定义为"text",imgUrl定义为"keyword"

新建完自定义的mapping重新获取index04的内容

  1. {
  2.     "index04": {
  3.         "mappings": {
  4.             "book": {
  5.                 "properties": {
  6.                     "content": {
  7.                         "type": "text"
  8.                     },
  9.                     "id": {
  10.                         "type": "integer"
  11.                     },
  12.                     "imgUrl": {
  13.                         "type": "keyword"
  14.                     },
  15.                     "title": {
  16.                         "type": "text"
  17.                     }
  18.                 }
  19.             }
  20.         }
  21.     }
  22. }

3.对比数据库

mapping结构设置,与数据库中定义一个表格的结构(scheming),是一样的意义

4.对象与json的转化

对象和json的对应关系:

1.一个普通类的对象

class User {

private String id;

private Integer age;

}

user对象对应json字符串

{"id":"uuid1","age":18}

{
    "id": "uuid1",
    "age": 18
}

2.稍微复杂一些的对象

class Order{

private String order_id;

private OrderShipping shipping;

private List<OrderItem> orderItems;

}

class OrderShipping{

private  String receiver;

private String address;

}

order对象对应的json

{"order_id":"uuid","shipping":{"receiver":"张三","address":"beijing"}}

{

    "order_id": "uuid",

    "shipping": {

        "receiver": "张三",

        "address": "北京"

    },

     "orderItems":[{"":"","":""},{"":"","":""},{"":"","":""}]

}

3.之前JSON数据转换为Java对象

{
    "index04": {
        "mappings": {
            "book": {
                "properties": {
                    "content": {
                        "type": "text"
                    },
                    "id": {
                        "type": "integer"
                    },
                    "imgUrl": {
                        "type": "keyword"
                    },
                    "title": {
                        "type": "text"
                    }
                }
            }
        }
    }
}

转换Java对象

第一层

class Object1{

private  Object2  index04;

}
  • {"index04":{Object2的json}}

第二层

		class Object2{
			private  Object3   mappings;
		}
  • {"mappings":{object3的json}}

第三层

		class Object3{
			private  Object4  book;
		}
  • {"book":{object4的json}}

第四层

		class Object4 {
			private Object5 properties;
		}
  • {"properties":{object5的json}}

第五层

		class Object5{
			private   Object6   content;
			private  Object6   title;l
			private  Object6 id;
			private  Object6  imgUrl;
		}
  • {"content":{object6的json},"title":{object6的json},"id":{object6的json},"imgUrl":{object6的json}}

第六层

		class Object6{
			private String type;
		}
  • {"type":"text/integer"}

 

二.ik分词器插件引入到ELASTICSEARCH

1.文件拷贝

2.安装依赖（已有不要安装）

3.解压

4.删除安装包

将安装包一定要删除,es的启动会加载plugins文件夹下内容,一旦发现不认识的zip包,启动报错

5.进入到Config文件夹

6.将elasticsearch的文件夹名称修改成analysis-ik

7.重新启动es加载plugins中的ik分词器

我的之前报错，内存不足，直接关闭云主机，不惯毛病，

具体错误，可以CSDN 不过好多博客写全是废话，屁都不着边，看也白看

8.访问es提供的接口,实现不同的分词器使用

http://10.42.60.249:9200/index01/_analyze?analyzer=ik_max_word&text=中华人民共和国

  • index01:一个存在的索引
  • _analyze:对分词的测试

参数:analyzer=ik_max_word,就是ik分词器的名称

 text=中华人民共和国,计算分词的测试字符串

9.配置扩展和停用词典

1.plugins目录下的ik分词器中config文件夹中找到IKAnalyzer.cfg.xml​​​​​​​

2.没找到，去上传一份

3.找错文件夹 上一步可以不用做

4.配置扩展和停用

5.生成对应的词典们

  • ext.dic:华人民

  • stopword.dic:人民

6.输出结果

{
	"tokens": [{
		"token": "中华人民共和国",
		"start_offset": 0,
		"end_offset": 7,
		"type": "CN_WORD",
		"position": 0
	}, {
		"token": "中华人民",
		"start_offset": 0,
		"end_offset": 4,
		"type": "CN_WORD",
		"position": 1
	}, {
		"token": "中华",
		"start_offset": 0,
		"end_offset": 2,
		"type": "CN_WORD",
		"position": 2
	}, {
		"token": "华人民",
		"start_offset": 1,
		"end_offset": 4,
		"type": "CN_WORD",
		"position": 3
	}, {
		"token": "华人",
		"start_offset": 1,
		"end_offset": 3,
		"type": "CN_WORD",
		"position": 4
	}, {
		"token": "人民共和国",
		"start_offset": 2,
		"end_offset": 7,
		"type": "CN_WORD",
		"position": 5
	}, {
		"token": "共和国",
		"start_offset": 4,
		"end_offset": 7,
		"type": "CN_WORD",
		"position": 6
	}, {
		"token": "共和",
		"start_offset": 4,
		"end_offset": 6,
		"type": "CN_WORD",
		"position": 7
	}, {
		"token": "国",
		"start_offset": 6,
		"end_offset": 7,
		"type": "CN_CHAR",
		"position": 8
	}]
}

10.通过mapping设置将ik_max_word作为字符串类型的分词器使用

1.index05中,定义article

  • {
  •     "properties": {
  •         "content": {
  •             "type": "text",
  •                 "analyzer":"ik_max_word"
  •         },
  •         "title": {
  •             "type": "text",
  •                 "analyzer":"ik_max_word"
  •         },
  •         "id": {
  •             "type": "integer"
  •         },
  •         "imgUrl": {
  •             "type": "keyword"
  •         }
  •     }
  • }

2.新建一个index05

3.在index05中添加一个article类型的自定义mapping结构

curl -XPUT http://10.42.60.249:9200/index05/_mapping/article -d '{"properties":{"content":{"type":"text","analyzer":"ik_max_word"},"title":{"type":"text","analyzer":"ik_max_word"},"id":{"type":"integer"},"imgUrl":{"type":"keyword"}}}'

4.index05的article类型中新增几个document

curl -XPUT -d '{"id":1,"title":"java编程思想","content":"中华人民共和国"}' http://10.42.60.249:9200/index05/article/1

5.验证是否使用了ik分词器将title中java编程思想分词计算为{java}{编程}{思想}

curl -XGET http://10.42.60.249:9200/index05/_search -d '{"query":{"term":{"title":"编程"}}}'

IK分词器安装成功

萌新Java程序猿
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
IK分词器
weixin_70721552的博客
09-24 2435
ik分词器
Elasticsearch搜索中文分词优化-ik_max_word,和ik_smart模式
yinni11的博客
02-25 1万+
Elasticsearch 中文搜索时遇到几个问题: 当搜索关键词如：“人民币”时，如果分词将“人民币”分成“人”，“民”，“币”三个单字，那么搜索该关键词会匹配到很多包含该单字的无关内容,但是如果将该词分词成一个整词“人民币”，搜索单字如“人”字又不会匹配到包含“人民币”关键词的内容,怎么解决这个问题,既保证覆盖度又保证准确度? 搜索“RMB”时只会匹配到包含“RMB”关键词的内...
【docker】使用docker安装es提示ik分词器的问题（reason=analyzer [ik_max_word] has not been configured in mappings]]）
最新发布
九七的博客
07-04 372
exit。
Elasticsearch(十二)ik分词器中ik_max_word和 ik_smart的区别
weixin_38399962的博客
03-25 6359
学习过Solr或Elasticsearch的同学都知道IK分词器，它是一个针对中文的分词器。 IK分词器地址：https://github.com/medcl/elasticsearch-analysis-ik IK分词器有两种分词模式：ik_max_word和ik_smart模式。 1、ik_max_word 会将文本做最细粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为“中华人民共...
ElasticSearch学习
qq_40357769的博客
07-26 458
简介 ES是一个分布式高扩展的实时全文搜索引擎，基于RestFul风格的API调用。 ES安装 环境要求: 1.8jdk、NodeJS(ELK需要) Windows安装 解压即可 配置讲解
es:es学习笔记
03-04
描述中同样强调了 "es:es学习笔记"，表明内容可能包括个人或集体在学习 Elasticsearch 过程中的记录和心得。 **标签：“Java”** 标签“Java”提示我们，这个压缩包内的学习资料可能与使用 Java 开发 Elastic...
personal-notes:个人笔记整理，便于查看复习
05-14
在"personal-notes"这个个人笔记整理中，我们可以期待看到关于JavaScript的深度学习和实践总结。 1. **基础语法**：JavaScript的基础包括变量声明（var、let、const）、数据类型（number、string、boolean、null、...
Ant Design Pro 4.x学习笔记（一）基本介绍
01-20
Ant Design Pro 4.x学习笔记（一）基础 简介 自己学习的一点心得，希望有不足的地方，轻喷。 Ant Design Pro 是ant的一个项目，是一个企业级中后台前端/设计解决方案，与Ant Design 一脉同源。学习Ant Design Pro ...
tj12401101前端开发笔记
04-27
这些笔记可能包括代码实例、问题解决方案、学习心得以及对某些特定技术或工具的深度探讨。 【标签】"c" 可能是个误标，因为C语言是后端编程语言，与前端开发的主要技术栈（HTML、CSS、JavaScript）不直接相关。如果...
SpringCloud笔记.rar
03-19
8. **Spring Cloud Sleuth链路追踪**：Sleuth与Zipkin或ELK（Elasticsearch、Logstash、Kibana）配合，可以实现微服务间的请求链路追踪，帮助排查问题。 9. **Spring Cloud Stream消息驱动**：提供构建消息驱动...
ElasticSearch 学习8 ：ik分词器的扩展，及java调用ik分词器的analyzer
zhaofuqiangmycomm的博客
10-08 3634
上篇已经说过ik的集成，这篇说下ik的实际使用。
ElasticSearch7.3学习(十五)----中文分词器(IK Analyzer)及自定义词库
「 虚幻私塾」
03-29 4073
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 1、 中文分词器 1.1 默认分词器 先来看看ElasticSearch中默认的standard 分词器，对英文比较友好，但是对于中文来说就是按照字符拆分，不是那么友好。 GET /_analyze { "analyzer": "standard", "text": "
ElasticSearch之IK分词器安装以及使用介绍
热门推荐
qq_39939541的博客
07-27 1万+
elasticsearch 默认的内置分词器对中文的分词效果可能并不理想，因为它们主要是针对英文等拉丁语系的文本设计的。如果要在中文文本上获得更好的分词效果，我们可以考虑使用中文专用的分词器。IK 分词器是一个开源的中文分词器插件，特别为 Elasticsearch 设计和优化。它在中文文本的分词处理上表现出色，能够根据中文语言习惯进行精细的分词。IK 分词器允许用户自定义词典，可以添加新词、调整词频等，以便更好地适应特定的领域或需求。自定义词典可以提高分词的准确性和召回率。
ElasticSearch篇——认识、安装和使用IK分词器插件，一篇文章带你彻底拿下！
我热爱学习，也乐于分享。无论是科技前沿的洞见，还是生活中的小技巧，我都会在这里与你分享。我相信，知识就是力量，而分享则能让这份力量得到更好的传递。
12-09 5802
所谓分词，即把一段中文或者别的划分成一个个的关键字，我们在搜索时会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一个匹配的操作，默认的中文分词器是将每一个字看成一个词，比如“我爱中国”会被分成“我”、“爱”、“中”、“国”，这显然是不符合要求的，所以我们需要安装中文分词器IK来解决这个问题！假如我想对以下的内容进行分词，我不希望“长江东逝水”分开，这个时候就需要我们自己去配置一下属于我们自己的字典了。（1）观察ES细节，我们自己编写的字典被加载进来了！
3.ElasticSearch分词器，包括默认分词器、英文分词器、中文分词器
名猿陈大浏的博客
08-28 7931
导图（用于总结和复习） ​ ​ 注：使用 GET /test/_analyze 可以使用分词器查看分词结果，例： 以上用例是使用 analyzer 指定英文分词器查看分词结果，如果field是索引里的字段，会使用字段指定的分词器进行分词。 接下来进入测试。 默认分词器 默认使用standar分词器 在不标明的时候都是使用默认的standar分词 在建索引的时候，使用 analyzer 指定字段分词器 测试数据： #1.删除 /test下的测试数据 DELETE /test/
ES的安装和开发配置坑
小诚信驿站
04-23 4596
（1）No handler for type [string] declared on field {"reason":"Failed to parse mapping [umc_synclog_data]: No handler for type [string] declared on field [response]", "caused_by":{"reason":"No handl...
IK分词器---Elasticsearch（standard、ik_smart、ik_max_word、拓展词典---ik_max_word）
2302_79020600的博客
06-23 1257
分词器的作用是什么？创建倒排索引时，对文档分词用户搜索时，对输入的内容分词IK分词器有几种模式？ik_smart：智能切分，粗粒度：最细切分，细粒度IK分词器如何拓展词条？如何停用词条？利用config目录的文件添加拓展词典和停用词典在词典中添加拓展词条或者停用词条。
elasticsearch 学习笔记
08-19
elasticsearch 学习笔记包括以下内容: 一、Elasticsearch概述: - Elasticsearch是一种开源的分布式搜索和分析引擎，可以用于快速搜索、分析和存储大量的结构化和非结构化数据。 - Elasticsearch与Solr相比有一些区别，包括用户、开发和贡献者社区的规模和成熟度等方面。 二、Elasticsearch安装: 1. 下载Elasticsearch，可以从官方网站或华为云镜像下载。 2. 安装Elasticsearch。 三、安装head插件: - head插件是一个可视化的管理界面，可以方便地管理和监控Elasticsearch集群。 四、安装Kibana: 1. Kibana是一个开源的数据可视化工具，用于展示和分析Elasticsearch中的数据。 2. 下载Kibana并安装。 3. 启动Kibana并进行访问测试。 4. 可选的汉化操作。 五、ES核心概念理解: - 学习ES的核心概念，包括索引、文档、映射、查询等。 以上是elasticsearch学习笔记的主要内容，希望对你有帮助。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Elasticsearch 学习笔记（上）](https://blog.csdn.net/m0_52691962/article/details/127064350)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值