elasticSearch学习笔记

最新推荐文章于 2024-05-08 14:08:11 发布
最新推荐文章于 2024-05-08 14:08:11 发布
阅读量826 收藏
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46486963/article/details/126482126
版权

文章目录

1.基本概念

Index（索引）

动词相当于mysql的insert，名词相当于databases

tyep(类型）

在Index（索引）中，可以定义一个或者多个类型，类似于Mysql中的Table，每一种类型的数据放在一起。

在ElasticSearch6.X中，一个index中只能存在一个type，而在ElasticSearch7.X中，type的概念已经被废除了。

Document（文档）

保存在某个索引下，某个类型的一个数据，文档是JSON格式，Document就像是Mysql中的某个Table里面的内容

模型

正向索引和倒排索引的概念

正排索引

正向索引 (forward index) 以文档的ID为关键字，表中记录文档中每个字的位置信息，查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档
在这里插入图片描述

倒排索引

倒排索引以字或词为关键字进行索引，表中关键字所对应的记录表项记录了出现这个字或词的所有文档
在这里插入图片描述

2.初步检索

_cat

GET /_cat/nodes; ## 查看所有节点
GET /_cat/health;## 查看es的健康状况
GET /_cat/master; ##查看主节点
GET /_cat/indices; ## 查看所有索引

索引一个文档

PUT /索引名/类型名/主键id ## 使用put方式，必须传入主键id，如果存在当前id，为更新操作，否则为新增操作
POST /索引名/类型名/主键id ##使用post方式，传入主键id可选择，如果当前没有传入id，为新增操作，否则传入id，如果存在当前id，为更新操作，否则为新增操作

在这里插入图片描述

查询文档操作

## 查询指定id的索引
GET /索引名/_doc/主键id ##例如：GET /shopping/_doc/1
## 查询当前索引下的所有数据
GET /索引名/_search/ ## 例如：GET /shopping/_search

在这里插入图片描述

乐观锁修改：
更新携带?if_seq_no=0&if_primary_term=1(PUT请求)

更新文档操作

POST /索引名/_update/主键名 
## 例如：
POST /shopping/_update/1
{
  "doc": {
    "更新字段名":"更新数据",
    .....
  }
}

删除文档操作

DELETE /索引名/_doc/主键id ## 删除一个文档

批量操作

在这里插入图片描述

3.高级检索

两种检索方式：

  • 一个是通过使用REST request URI 发送搜索参数（uri+检索参数）(不推荐)
GET /shopping/_search/?q=*
  • 一个是通过REST request body来发送他们（uri+请求体）(推荐)
GET /shopping/_search
{
  "query": {
    "match": {
      "username": "admin"
    }
  }
}

DSL操作

语法格式

{
	"操作类型“: "操作规则"
}

按照字段值关键字查询(match操作)

GET /索引名/_search
{
	"query":{
		"match":{
			"字段名":"字段值"
		}
	}
}

查询所有文档（match_all操作）

GET /shopping/_search 
{
  "query": {
    "match_all": {
      
    }
  }
}

完全查询和高亮显示（match_phrase)

GET /shopping/_search
{
  "query": {
    "match_phrase": {
      "字段名": "字段显示"
    }
  },
  "highlight": {
    "fields": {
      "字段名": {
        
      }
    }
  }
}

分页查询(操作等级与query相等)

GET /shopping/_search 
{
  "query": {
    "match_all": {
      
    }
  },
  "from":"1", ##代表offset，从第一个数据开始
  "size":"2" ## 代表limit，查询多少数据
}

只显示部分字段

GET /shopping/_search 
{
  "query": {
    "match_all": {
      
    }
  },
  "_source": ["字段名1", "字段名2"...]
}

排序

不能对文本类型进行排序

GET /shopping/_search
{
  "query": {
    "match_all": {
      
    }
  },
  "sort": [
    {
      "字段名": {
        "order": "升序或者降序（ASC或者DESC）"
      }
    }
  ]
}

多添加查询

GET /shopping/_search
{
  "query": {
    "bool": {
      "must": [  ## must中的条件必须同时符合，类似于and
        {
          "match": {
            "price": "3"
          }
        }
      ],
      "should": [ ## should中的条件符合其一集合，类似于or
        {
          "match": {
            "username.keyword": "admin"
          }
        }
      ],
      "filter": { ##过滤以上结果
        "range": { ## 范围过滤
          "price": {
            "gte": 1,
            "lte": 5
          }
        }
      }
    }
  }
}

聚合操作（aggs)

GET /bank/_search
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "age_group": { ##聚合操作名
      "terms": { ## 聚合操作类型
        "field": "age"
        "size": 10
      }
    }
  },
  "size": 0
}

映射（mapping）

表示字段的类型，一般在创建索引的时候指定，但是在ElasticSearch8中，将移除，因此，此处降只记录一个概念。
创建一个映射

PUT /testIndex
{
  "mappings": {
    "properties": {
      "age": {
        "type":"integer", ## 字段类型
        "index": false, ## 是否能够被索引到
        "doc_values": true ##是否存储到磁盘中
      },
      "email": {
        "type":"keyword" ## 字段类型
      }
    }
  }
}

在已创建的映射中添加一个字段映射

PUT /testIndex/_mapping
{
  "properties": {
    "email": {
        "type":"keyword" ## 字段类型
      }
  }
}

修改已存在字段的类型

elasticsearch中不能修改已存在字段的类型，因为这样会使历史数据丢失，因此在elasticsearch中如果要修改现有字段的类型，只能创建一个新的索引，规定mapping后，进行数据迁移、

数据迁移
elasticsearch6.0之后的写法
在这里插入图片描述
elasticsearch6.0以前的写法
在这里插入图片描述
在这里插入图片描述

分词

一个tokenizer（分词器）接受一个字符流，将之分隔为独立的tokens(词元，通常是独立的单词)，然后输出tokens流。
ElasticSearch提供了很多内置的分词器，可以用来构建custom analyzers（自定义分词器）

安装ik分词器

下载地址：https://hub.fastgit.xyz/medcl/elasticsearch-analysis-ik/releases?page=7
安装步骤
将插件安装包传入elasticsearch的plugin目录下，即可。

自定义分词器

配置文件地址：elasticsearch/plugins/ik/config/IKAnalyzer.cfg.xml,由于配置的分词器是对应的网络地址，因此，我们需要搭一个Nginx。
在这里插入图片描述

搭建nginx

docker-compose内容：

 nginx:
    image: nginx
    container_name: nginx
    ports:
      - "8000:80"
    volumes:
      - './nginx/html:/usr/share/nginx/html'
      - './nginx/logs/:/var/log/nginx/'
      - './nginx/conf/:/etc/nginx/'
    restart: always
    privileged: true
    networks:
      - rmq1

将nginx的容器复制到外面

docker container cp nginx:/etc/nginx ./nginx_1

在nginx/html/目录下创建一个txt文件，添加你的词组
将对应的访问路径放入elasticsearch文件即可。

4.SpringBoot集成ElasticSearch

单体架构

使用步骤：

1.加入jar包

<dependency>
   <groupId>org.springframework.boot</groupId>
   <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

2.application.yaml中加入配置

spring:
  elasticsearch:
    rest:
      uris:
        - IP地址:端口

3.工具类：ElasticsearchRestTemplate(是使用 High Level REST Client 的 ElasticsearchOperations 接口的实现)
4.创建实体类

package com.tom.gulimall.search.es;

import com.tom.common.es.AttrsEsModelDto;
import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;
import org.springframework.data.elasticsearch.annotations.IndexPrefixes;

import java.util.List;

/**
 * @author: wys
 * @date: 2022/9/8 17:42
 * @description: 首页索引
 */

@Document(indexName = "product") //设置索引名，如果不存在，默认创建
@Data
public class HomeIndexEntity {

    @Id
    @Field(type = FieldType.Long)
    private Long skuId;

    @Field(type = FieldType.Keyword)
    private Long spuId;

    @Field(type = FieldType.Text, analyzer = "ik_smart")
    private String skuTitle;

    @Field(type = FieldType.Keyword)
    private String skuPrice;

    @Field(type = FieldType.Keyword, index = false, docValues = false)//index代表不作为索引对象，docValue表示不序列化
    private String skuImg;

    @Field(type = FieldType.Long)
    private Long saleCount;

    @Field(type = FieldType.Boolean)
    private Boolean hasStock;

    @Field(type = FieldType.Long)
    private Long hotScore;

    @Field(type = FieldType.Long)
    private Long brandId;

    @Field(type = FieldType.Long)
    private Long catelogId;

    @Field(type = FieldType.Keyword, index = false, docValues = false)
    private Long brandName;

    @Field(type = FieldType.Keyword, index = false, docValues = false)
    private String brandImg;

    @Field(type = FieldType.Keyword, index = false, docValues = false)
    private String catelogName;

    @Field(type = FieldType.Object)
    private List<AttrsEsModelDto> attr;
}

5.创建持久层对象，继承ElasticsearchRepository接口

//第一个泛型代表操作对象，第二个泛型代表主键id类型
@Component
public interface UpProductDao extends ElasticsearchRepository<HomeIndexEntity, Long> {


}

6.可以根据语法定义常用方法，也可以用@Query自定义方法

GET /product/_search
{
  "query": {
    "match_all": {}
  }
}

上述查询方法，可以简述为(@Query中的内容为【“query”:】后的内容)：

@Query("{\n" +
            "    \"match_all\": {}\n" +
            "  }")
List<HomeIndexEntity> findAllProduct();

5.常见的问题：

ES存储数组数据的时候会对数据执行扁平化操作，而扁平化操作会导致数据操作错误，如何解决这种影响？

设置属性为nested类型
在这里插入图片描述

小帅学编程
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch学习笔记
10-29
ElasticSearch学习笔记 ElasticSearch是基于Apache Lucene的搜索和数据分析引擎，提供了RESTful API用于数据的索引、搜索和分析。本笔记将对ElasticSearch的基本概念、架构、应用场景和实现细节进行详细介绍。 一...
Elasticsearch5.6.3存储字节数组
Poche.Long的博客
09-18 2649
Elasticsearch5.6.3存储字节数组Index建立java代码插入示例kinbana存储显示读取字节数组 Index建立 字节数组在Elasticsearch中数据类型对应binary。因此在新建索引时需要注意类型 { "mappings":{ "tags":{ "_all": { "enabled": false }, "jobClass...
Elasticsearch7.5 元字段说明
Sam_D002的博客
01-01 1313
https://www.elastic.co/guide/en/elasticsearch/reference/current/cat-nodeattrs.html 详细参数 查看节点（每个命令都接受一个查询字符串参数v以打开详细输出） v 127.0.0.1:9200/_cat/master?v 帮助 每个命令都接受一个查询字符串参数help help http://127.0.0.1:920...
根据ElasticsearchRestTemplate封装的工具类
最新发布
weixin_43702295的博客
05-08 146
【代码】根据ElasticsearchRestTemplate封装的工具类。
elasticsearch 数组的注意事项
布道
03-11 8314
我都知道lucene是不区分数组类型的，而elasticsearch中没有专用的数组类型，对Array datatype支持不需要专用类型（理解为动态的字符串或object类型）。默认情况下，任何字段都可以包含零个或多个值，但数组中的所有值都必须具有相同的数据类型。本文基于es 6.2，比如： ["one","two"] [1,2] [{ "name": "Mary"...
【Elasticsearch】Elasticsearch中数据是如何存储的
九师兄
07-21 6288
1.概述 转载：Elasticsearch中数据是如何存储的 前言很多使用Elasticsearch的同学会关心数据存储在ES中的存储容量，会有这样的疑问：xxTB的数据入到ES会使用多少存储空间。这个问题其实很难直接回答的，只有数据写入ES后，才能观察到实际的存储空间。比如同样是1TB的数据，写入ES的存储空间可能差距会非常大，可能小到只有300~400GB，也可能多到6-7TB，为什么会造成这么大的差距呢？究其原因，我们来探究下Elasticsearch中的数据是如何存
【实现验证】ElasticSearch数据库中存储数组字段
gong_yangyang的博客
09-15 1403
1.插入数据 POST t_bbs_posts_test/t_bbs_posts/5 { "array":["a","b","c"] } 2.查看字段的mapping "array": { "type": "text", "fields": { "keyword": { "type": "keyword", "ignore_above": 2
ElasticSearch 中 Nested 处理数据的扁平化
weixin_32196893的博客
07-28 948
参考文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.5/nested.html 举例 PUT my_index/_doc/1 { "group" : "fans", "user" : [ { "first" : "John", "last" : "Smith" }, { "first" : "Alice", "last" : "White"
Elasticsearch 数组、对象和嵌套类型的使用和区别
Ingenuity1992的博客
12-19 3223
总结，对象字段与嵌套字段的区别： 1. mapping设置不同。ES可不设置字段type，则默认object类型，嵌套需要显示设置为"type":"nested". 2. 存储方式不同。对象数组在后台是扁平化存储，嵌套对象数组是每个对象独立成文档存储。因此，对象数据有时会有"且"条件查询出"或"结果，嵌套对象的文档聚合可能会多计数(除非加reverse_nested)，想保持数组中对象的独立性，就需要使用嵌套字段类型。 3. 查询方式不同。对象类型直接通过"."号连接各层级字段进行查询。嵌套字段需要使用ne
ElasticSearch 学习笔记
01-20
文章目录ElasticSearch 学习笔记基本概念倒排索引timeout 超时Query 与 filter 的区别query全文检索短语检索高亮检索分组检索平均值的检索区间检索批量查询查询排序查询缓存文档替换与删除ES路由查询路由分词Mapping...
elasticsearch学习笔记.rar
03-20
在"elasticsearch学习笔记.pdf"中，你将详细学习这些概念，并通过实际案例来加深理解，包括如何安装配置ES，创建和管理索引，执行搜索，以及进行高级操作如数据导入导出、监控和报警等。这将是你掌握Elasticsearch...
ElasticSearch学习笔记1
08-08
ElasticSearch学习笔记1 ElasticSearch是基于Lucene的搜索服务器，它提供了高性能的全文搜索功能，支持开箱即用的集群化扩展。ElasticSearch可以通过标准的REST API或特定于编程语言的客户端库与之交互。 一、什么...
4、Elasticsearch数据类型
爱欧米
11-20 3210
UTC 世界协调时、DST 夏日节约时间、CST 中国标准时间。
Elasticsearch：Flattened 数据类型映射
Elastic 中国社区官方博客
10-09 2622
​ 在本文中，我们将了解为了更好地处理包含大量或未知数量字段的文档而引入的 Elasticsearch 扁平化数据类型（flattened datatype）。默认情况下，Elasticsearch 会在提取文档时自动映射文档中包含的字段。 虽然这是开始使用 Elasticsearch 的最简单方法，但随着时间的推移，它往往会导致字段爆炸，并且 Elasticsearch 的性能将受到 “内存不足（out of memory）” 错误和索引和查询数据时性能不佳的影响。
Elasticsearch 数组值的存储详细介绍
小湘西的博客
01-18 1280
在Elasticsearch中，数组字段的处理是直观和灵活的。你不需要特别声明一个字段为数组类型，Elasticsearch会自动处理多值字段。数组可以存储不同类型的数据，包括字符串、整数、对象等。查询数组字段时，Elasticsearch会对数组中的每个元素应用查询条件。这种灵活性使得Elasticsearch非常适合处理复杂的数据结构，但是要注意查询数组字段时可能会对性能产生影响，特别是当数组很大时。
ElasticSearch入门 第六篇：复合数据类型——数组，对象和嵌套
albh81462的博客
05-05 6147
这是ElasticSearch 2.4 版本系列的第六篇： ElasticSearch入门 第一篇：Windows下安装ElasticSearch ElasticSearch入门 第二篇：集群配置 ElasticSearch入门 第三篇：索引 ElasticSearch入门 第四篇：使用C#添加和更新文档 ElasticSearch入门 第五篇：使用C#查询文档 Elas...
Elasticsearch学习笔记（含知识点，安装及使用）
weixin_45866849的博客
07-28 1294
ElasticSearch 是一个分布式，高性能、高可用、可伸缩、RESTful 的搜索和数据分析引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。通常作为 Elastic Stack 的核心来使用。...
elasticsearch学习笔记(持续更新)
weixin_45390688的博客
05-09 1826
一、环境搭建 （一）安装docker容器 （二）安装elasticsearch 1.创建网络 docker network create es-net 2.部署es docker run -d \ --name es \ -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \ -e "discovery.type=single-node" \ -e "http.host=0.0.0.0" \ -v es-data:/usr/share/elastics
elasticsearch学习笔记——学习笔记（一）
weixin_44712778的博客
03-07 1998
elasticsearch学习笔记
elasticsearch 学习笔记
08-19
elasticsearch 学习笔记包括以下内容: 一、Elasticsearch概述: - Elasticsearch是一种开源的分布式搜索和分析引擎，可以用于快速搜索、分析和存储大量的结构化和非结构化数据。 - Elasticsearch与Solr相比有一些区别，包括用户、开发和贡献者社区的规模和成熟度等方面。 二、Elasticsearch安装: 1. 下载Elasticsearch，可以从官方网站或华为云镜像下载。 2. 安装Elasticsearch。 三、安装head插件: - head插件是一个可视化的管理界面，可以方便地管理和监控Elasticsearch集群。 四、安装Kibana: 1. Kibana是一个开源的数据可视化工具，用于展示和分析Elasticsearch中的数据。 2. 下载Kibana并安装。 3. 启动Kibana并进行访问测试。 4. 可选的汉化操作。 五、ES核心概念理解: - 学习ES的核心概念，包括索引、文档、映射、查询等。 以上是elasticsearch学习笔记的主要内容，希望对你有帮助。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Elasticsearch 学习笔记（上）](https://blog.csdn.net/m0_52691962/article/details/127064350)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值