谷粒商城实战(003 elasticSearch(es)搜索引擎)

已于 2024-04-08 15:05:47 修改
阅读量917 收藏 18
点赞数 12
分类专栏： 谷粒商城 文章标签： 搜索引擎 elasticsearch 大数据
于 2024-03-08 16:22:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wang_book/article/details/136347940
版权
本文详细介绍了Java项目《谷粒商城》中Elasticsearch的架构，涉及索引、文档结构、倒排索引的安装和配置，以及版本控制、数据操作（PUT、POST、DELETE）、查询方法、聚合、类型管理和数据迁移等内容，同时讲解了Docker部署和Elasticsearch的分词器定制。
摘要由CSDN通过智能技术生成

Java项目《谷粒商城》架构师级Java项目实战，对标阿里P6-P7，全网最强

总时长 104:45:00 共408P

此文章包含第102p-第p124的内容

简介

在这里插入图片描述

在这里插入图片描述

es的索引（Index）相当于mysql的database 数据库 也可以当成insert
es的类型（Type）相当于mysql的table 表
es的文档（Document）相当于mysql的table里的数据内容
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

倒排索引

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

安装 p103

es7.4.2 相当于mysql
kibana 相当于navicat sqlyog等

在这里插入图片描述
在这里插入图片描述
下载
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
看内存
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

正式上线的话 内存一般会分32G左右
这里测试 使用 初始64M 最大占用128M
在这里插入图片描述
挂载虚拟机的yml文件到外部
外部暴露地址：内部地址
**加粗样式**

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
挂载出错要添加到白名单chcon -Rt svirt_sandbox_file_t（需要挂载的文件目录）或者chmod -R 777 /mydata/elasticsearch/ 保证权限

修改权限 为777
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
安装成功可以看到如下信息
在这里插入图片描述
在这里插入图片描述
ctrl + s
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

需要等待1分钟左右才能启动，太快会有下面的提示
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

保存 p106

在这里插入图片描述
在这里插入图片描述
返回 的元数据
在这里插入图片描述
再次发送的时候 返回的元数据会发生变化 如 created变成了updated 版本号也加了1
在这里插入图片描述
在这里插入图片描述

put方法必须带id 不带报405错误
在这里插入图片描述

查询 get p107

乐观锁查询时用到的两个参数
_seq_no 数据改动时会上升
_primary_term 集群时使用

_seq_no（Sequence Number）：

seq_no 是文档的序列号，用于跟踪文档在分片中的顺序。
每次对文档进行更新时，seq_no 会自增，这有助于确定文档的最新版本。
在分布式环境下，seq_no 可以帮助协调来自不同节点的写入操作，确保数据的一致性。
_version：

version 是文档的版本号，用于标识文档的更新次数。
每次对文档进行更新时，version 会递增，允许应用程序检测到文档是否已经被修改。
通过版本号，可以实现乐观并发控制，避免数据冲突和丢失更新。
_primary_term：

primary_term 是主分片的代号，用于在主分片切换时维护一致性。
当主分片发生切换时，primary_term 会增加，确保正确地处理分片的变更。
这些字段在 Elasticsearch 中扮演着重要的角色，帮助确保数据的一致性、可靠性和并发控制。通过结合使用这些字段，Elasticsearch 能够有效地处理分布式环境下的数据操作，并提供强大的文档控制功能。

在这里插入图片描述

在这里插入图片描述
老版本用_version做锁 新版一般用_seq_no 做锁

put和post详细 p108

post 带_update

在这里插入图片描述

在这里插入图片描述

post 不带_update

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

删除 delete p109

在这里插入图片描述

删除完 再查询会提示未找到
在这里插入图片描述
删除索引后 整个索引下的数据都没有了 没有删除type的方法 而且新版本已经取消了type
在这里插入图片描述

批量操作

在这里插入图片描述

在这里插入图片描述

地址打不开的话，把地址里的master替换成7.4，就可以打开了。

在这里插入图片描述
在这里插入图片描述

查询的两种方法 p110

1.使用参数

在这里插入图片描述

用时
是否超时
集群分片做了什么
命中记录
在这里插入图片描述
在这里插入图片描述

hits 命中记录的一些参数
total --> value总记录数
total --> relation"eq" 类型 等于
max_score 最大得分

在这里插入图片描述

2.使用请求体

在这里插入图片描述

query 查询条件
sort 排序条件
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

from 0 代表从第一条数据开始拿
size 20 代表拿20条
跟分页一样
在这里插入图片描述
_source 查询哪几个字段
在这里插入图片描述

match 匹配查询

在这里插入图片描述

模糊查询 使用倒排索引进行快速全文检索
在这里插入图片描述

在这里插入图片描述

多字段匹配

多个字段里有一个匹配也能查出来 如:标题和详情里有 就拿出来
在这里插入图片描述

在这里插入图片描述

复合查询 bool
must必须满足才行

在这里插入图片描述

must_not 必须不匹配 如 不能有年龄38岁的

在这里插入图片描述

should 应该匹配 可以匹配 可以不匹配 匹配最好 可以加分 不匹配也没事 相当于加分项

在这里插入图片描述

must should 相关性得分都可以加分
在这里插入图片描述

查询年龄范围
在这里插入图片描述
在这里插入图片描述

结果过滤 filter 不提供相关性得分

在这里插入图片描述

term

检索精确字段 非文本字段使用term
在这里插入图片描述

在这里插入图片描述

term无法检索到文本字段 因为分词原因term很难检索到
在这里插入图片描述

query match xxx.keyword 和query match_phrase xxx

query match xxx.keyword 和query match_phrase xxx 都是将后面的数据作为一整个词进行查询
query match xxx.keyword 这只能查到一模一样的数据 相当于 sql里的等于
query match_phrase xxx 可以查到带后面 整个的词的 数据 相当于sql里的 like

keyword 不将里面的内容进行分词，text会分词
keword是精确匹配，match_phrase是模糊匹配，都不分词
在这里插入图片描述

aggregations执行聚合

在这里插入图片描述
在这里插入图片描述

各种聚合类型 如 avg(平均值)，term(值集合) 相当于sql里的聚合函数
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

size等于0的时候只看聚合结果 数据hits不展示
在这里插入图片描述

子聚合

先按年龄进行分布 然后再在这些年龄里进行聚合查询
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

三层聚合
这个操作类似于Stream流，习惯了用着还可以

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

ES7移除了type，因为同一个索引下 不同type里同名的时候会影响查询效率

在这里插入图片描述

映射

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

创建字段

text和keyword的区别
keyword 不会进行全文检索 进行精确匹配
text会进行分词从而进行全文检索
在这里插入图片描述
这里创建了一个索引，并且去掉了type 直接是索引下面就是字段
在这里插入图片描述

新增字段

在这里插入图片描述
直接加不行 会报错
在这里插入图片描述

在这里插入图片描述

index是false的时候 是不会被索引到的 相当于查询的时候不去查它
在这里插入图片描述

更新映射

如果一个映射已经添加了 就不能更新这个映射，如修改类型等
如果想修改映射，就需要 重新建立一个新的索引，并将之前的数据进行迁移

在这里插入图片描述

在这里插入图片描述

数据迁移

把之前的进行复制，并且修改后进行操作
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
迁移并且去掉type
在这里插入图片描述
type全部变成_doc
在这里插入图片描述

在这里插入图片描述

分词

在这里插入图片描述
使用standard分词器进行分词
在这里插入图片描述
由于默认的standard分词器拆分中文有歧义 所以需要安装中文分词器，这里使用开源的ik分词器
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

之前映射过
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
进入docker 容器

docker ps    #查看

docker exec -it  xxxxx /bin/bash   #进入

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

查看已经安装好的插件
在这里插入图片描述

在这里插入图片描述

重启es
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

网络配置

设置网关和dns 以及备用dns
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

自定义分词器

在这里插入图片描述

在这里插入图片描述

删除之前的容器并重新生成一个新的

删除 由于之前的数据源映射到了外部 所以新生成的es容器的数据不会丢失
在这里插入图片描述
在这里插入图片描述

重新创建

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

修改ik分词器的配置文件

在这里插入图片描述
在这里插入图片描述

改完之后记得重启
在这里插入图片描述
在这里插入图片描述

设置自动启动
在这里插入图片描述

wang_book
关注
专栏目录
谷粒商城_07_Elasticsearch进阶+商品上架
早上真起不来的博客
12-25 735
文章目录SpringBoot整合ElasticSearch导入依赖测试保存数据获取数据转换beanBuckets分析信息product-es分析sku在es中如何存储建立product索引nested嵌入式对象商品上架根据spuId封装上架数据上架实体类库存量查询gulimall-searchgulimall-search SpringBoot整合ElasticSearch 创建项目gulimall-search，选择依赖web 导入依赖 这里的版本要和所安装的ES版本匹配。 <dependency&
谷粒商城之高级篇知识补充
生命不息，编程不止的博客
12-29 1839
谷粒商城之高级篇知识补充
es测试数据（谷粒商城）
一个菜鸡的博客
12-31 5353
【代码】es测试数据（谷粒商城）
谷粒商城高级篇-Elasticsearch
最新发布
weixin_53175511的博客
10-11 967
全文搜索属于最常见的需求，开源的 Elasticsearch 是目前全文搜索引擎的首选。它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它文档：序言 | Elasticsearch: 权威指南 | Elastic（其中中文文档都是比较旧的版本）
谷粒商城----ES篇
不更了，主打一个陪伴
09-06 1142
谷粒商城----ES篇
谷粒商城-整合elasticSearch
TryJavva的博客
07-15 729
SpringBoot整合elasticSearchSearchRequest的构建-检索二级目录三级目录 SearchRequest的构建-检索 1.导入依赖 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId
学习谷粒商城之ElasticSearch进阶使用以及项目整合ES
BASK2312的博客
06-19 417
分词操作，即会对一句话进行分析，将其拆分成若干个短语或单词。前面我们也使用到了这个，即在[[#① 全文检索类型的字段]]中有使用到这个。分词操作的基本语法为：json复制代码其中{standard}是我们要使用的分词器，一般为standard，{text}则是我们要分析的内容。分词器的工作原理是，背后有个词库，会根据词库的内容对句子进行划分。但是，标准的分词器有时候不能实现我们想要的，比如一些流行用语就不会收录。如我们想要对法外狂徒张三进行划分，可以将其划分为法外狂徒和张三。json。
尚硅谷谷粒商城P109 Elasticsearch实战：测试数据与Kibana执行
"这是一份关于使用Elasticsearch（ES）进行数据测试的文档，源自尚硅谷的《谷粒商城》项目实战课程。文档中包含了多个银行账户的JSON数据，可以用于填充到ES实例中，便于进行数据操作和查询功能的测试。数据包括账户...
深入谷粒商城：微服务电商项目实战详解
6. Elasticsearch：Elasticsearch是一个基于Lucene构建的开源搜索引擎，提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。它广泛用于搜索日志、系统监控、文档索引等。 7. RabbitMQ：RabbitMQ是一...
商城-文档
weixin_46925850的博客
07-28 8051
谷粒商城学习笔记
谷粒商城 --＞「P01-P44」
Darling_qi的博客
04-28 5062
微服务+分布式+全栈+集群+部署+自动化运维+可视化CICD，对标阿里P6/P7
从零开始的ElasticSearch安装方法到使用方法 到SpringBoot整合ElasticSearch全程无废话
a203206868的博客
07-29 1013
0、简介 es–> solr mysql用作持久化存储，ES用作检索 基本概念：index库>type表>document文档 index索引（index在es中添加） 动词：相当于mysql的insert 名词：相当于mysql的db Type类型 put /index/user { ​ “name”:“zhansan” } 在index中，可以定义一个或多个类型 类似于mysql的table，每一种类型的数据放在一起 Document文档(必须是json格式) 保存在某个index下，
【谷粒商城高级篇之ElasticSeacrch环境安装】
qq_44764181的博客
11-21 857
@[TOC]谷粒商城高级篇的ElasticSearch的环境安装 什么是ElasticSearch? ​ Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Elasticsearch N.V.（即现在的 Elastic）于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、速度和可扩
谷粒商城—全文检索—ElasticSearch（102～127）
张老师的博客
04-01 356
一.ElasticSearch 介绍： 1.介绍： 1）Elastic Search ：是一个 分布式的开源 检索和分析 引擎，适用于 所有类型的 数据。包括 文本，数字，地理空间，结构化 和 非结构化 数据。 2.基本概念： 1）索引（Index） ： 动词：相当于 Mysql 中的 ，insert。 ...
【谷粒商城高级篇】Elasticsearch：全文检索
知识输出、记录学习
02-05 1061
Elasticsearch：全文检索
elasticsearch入门到高级
u014496893的博客
02-09 407
1.3 初步检索 1.3.1、_cat GET /_cat/nodes：查看所有节点 GET /_cat/health：查看 es 健康状况 GET /_cat/master：查看主节点 GET /_cat/incices：查看所有索引 show databases; 1.3.2 索引一个文档（保存） 保存一个数据，保存在哪个索引的哪个类型下，指定用哪个唯一标识 PUT customer/external/1; 在 customer 索引下的 external 类型下保存 1号数据为,id不能省略，必传，存
谷粒商城高级篇-全文检索(ElasticSearch)
begefefsef的博客
08-31 502
全文检索属于最常见的需求，开源的ElasticSearch是目前全文检索引擎的首选。它可以快速的存储、搜索、分析海量数据。维基百科、StackOver Flow、Github都采用它。ElasticSearch的底层开源库Lucene。但是，你没有办法直接用Lucene，必须自己写代码去调用它的接口。ElasticSearch是Lucene的封装，提供了REST API 的操作接口，开箱即用。分词就是将一段话分成一个个词语案例：标准分词器{}结果：以空格将这句话分成一个个的单词。...
谷粒商城高级篇-elasticsearch
lujunskli的博客
10-02 624
文章目录一、es基本概念简介？1.1介绍二、安装三、使用3.1入门案例(简单增删改查)3.1.1. _cat3.1.2 保存3.1.3 查询,更新,删除 一、es基本概念简介？ 1.1介绍     Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎 es中主
谷粒商城elasticsearch
07-29
谷粒商城是一个电商平台，而 Elasticsearch 是一个开源的分布式搜索和分析引擎。在谷粒商城中，Elasticsearch以用于实现商品搜索、过滤和排序等功能。 通过将商品的信息和属性存储到 Elasticsearch 中，谷粒商城可以利用 Elasticsearch 提供的强大的全文搜索和复杂查询功能来快速地响应用户的搜索请求。Elasticsearch 的倒排索引机制可以高效地处理大量的数据，并提供高度可定制的搜索结果排序和过滤。 除了搜索功能，Elasticsearch 还可以用于实现实时监控和分析。谷粒商城可以利用 Elasticsearch 的聚合功能来统计和分析用户行为数据，例如热门商品排行、用户购买习惯等。 总之，谷粒商城借助 Elasticsearch 可以提供高效、准确的商品搜索和个性化推荐功能，提升用户体验并帮助商家更好地理解用户需求和行为。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值