ElasticSearch 学习笔记总结(四)

最新推荐文章于 2023-07-25 10:06:10 发布
最新推荐文章于 2023-07-25 10:06:10 发布
阅读量522 收藏 1
点赞数
分类专栏： 中间件 文章标签： elasticsearch 学习 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/it_holmes/article/details/129268881
版权

文章目录

一、ES继承 Spring Data 框架

Spring Data 是一个用于简化数据库、非关系型数据库、索引库访问。
在这里插入图片描述

Spring Data的官方：https://spring.io/projects/spring-data

其实Spring Data框架的出现，是为了更好快速的操作ES服务器，简化ES的操作。

在这里插入图片描述

自然操作的就是Spring Data Elasticsearch对应的内容。

二、SpringData 功能集成

创建一个springboot项目。

第一步：项目依赖，配置文件如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <parent>
        <artifactId>spring-boot-starter-parent</artifactId>
        <groupId>org.springframework.boot</groupId>
        <version>2.3.6.RELEASE</version>
        <relativePath/>
    </parent>

    <groupId>org.itholmes</groupId>
    <artifactId>es-spring</artifactId>
    <version>1.0</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-test</artifactId>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-test</artifactId>
        </dependency>
    </dependencies>

</project>

第二步：配置application.properties文件。

# es服务地址 为了项目引用
elasticsearch.host=127.0.0.1
# es服务端口
elasticsearch.port=9200
# 配置日志级别，开启debug日志
logging.level.com.itholmes.es=debug

第三步：创建SpringBoot主程序。

package com.itholmes.es;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class SpringDataElasticSearchMainApplication {
    public static void main(String[] args) {
        SpringApplication.run(SpringDataElasticSearchMainApplication.class,args);
    }
}

第四步：创建实体类，通过实体类来作为数据进行相关操作。

package com.itholmes.es;

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import lombok.ToString;

@Data
@NoArgsConstructor
@AllArgsConstructor
@ToString
public class Product {
    private Long id; // 商品唯一标识
    private String title; // 商品名称
    private String category; // 分类名称
    private Double price; // 商品价格
    private String images; // 图片地址
}

第五步：创建ElasticsearchConfig类，对应的配置文件。

package com.itholmes.es;

import lombok.Data;
import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestClientBuilder;
import org.elasticsearch.client.RestHighLevelClient;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.elasticsearch.config.AbstractElasticsearchConfiguration;

// @ConfigurationProperties(prefix = "elasticsearch") 去匹配 elasticsearch.host 和 elasticsearch.port。
@ConfigurationProperties(prefix = "elasticsearch")
@Configuration
@Data
public class ElasticsearchConfig extends AbstractElasticsearchConfiguration {
    private String host;
    private Integer port;
    @Override
    public RestHighLevelClient elasticsearchClient() {
        RestClientBuilder builder = RestClient.builder(new HttpHost(host, port));
        RestHighLevelClient restHighLevelClient = new RestHighLevelClient(builder);
        return restHighLevelClient;
    }
}

第六步：配置 DAO数据 访问对象，获取数据。

package com.itholmes.es;

import org.springframework.data.elasticsearch.repository.ElasticsearchRepository;
import org.springframework.stereotype.Repository;

// ElasticsearchRepository<Product,Long> 来进行操作
@Repository
public interface ProductDao extends ElasticsearchRepository<Product,Long> {

}

第七步：配置 实体类映射操作。

package com.itholmes.es;

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import lombok.ToString;
import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;

@Data
@NoArgsConstructor
@AllArgsConstructor
@ToString
// 关联索引，分片，备份
@Document(indexName = "product",shards = 3,replicas = 1)
public class Product {
    /**
     * 必须有id，这里的id是全局唯一的标识，等同于es中的_id。
     */
    @Id
    private Long id; // 商品唯一标识
    /**
     * type: 字段数据类型
     * analyzer：分词器类型
     * index: 是否索引（默认为：true）
     * Keyword：短语，不进行分词 就是关键字不能分开
     */
    @Field(type = FieldType.Text) // ,analyzer = "ik_max_word"
    private String title; // 商品名称
    @Field(type = FieldType.Keyword)
    private String category; // 分类名称
    @Field(type = FieldType.Double)
    private Double price; // 商品价格
    @Field(type = FieldType.Keyword,index = false) // index = false 就是不做索引查询的
    private String images; // 图片地址
}

第八步：做一个测试，简单走个测试就会把对应索引创建出来（初始化创建）。

package com.itholmes.es;

import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.domain.Page;
import org.springframework.data.domain.PageRequest;
import org.springframework.data.domain.Sort;
import org.springframework.test.context.junit4.SpringRunner;

import java.util.ArrayList;

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringDataESProductDaoTest {

    // 注入ElasticsearchRestTemplate
    @Autowired
    private ProductDao productDao;

    // 新增数据
    @Test
    public void save(){
        // 其实就是把后台相关数据，存储到了ES中。
        Product product = new Product();
        product.setId(2L);
        product.setTitle("华为手机");
        product.setCategory("手机");
        product.setPrice(2999.0);
        product.setImages("http://www.itholmes/hw.jpg");
        productDao.save(product);
        // 查看：get方法 http://127.0.0.1:9200/product/_doc/2
    }

    // 修改数据
    @Test
    public void update(){
        Product product = new Product();
        product.setId(2L); // id相同就是修改数据
        product.setTitle("华为222手机");
        product.setCategory("手机");
        product.setPrice(2999.0);
        product.setImages("http://www.itholmes/hw.jpg");
        productDao.save(product);
        //查看：get方法 http://127.0.0.1:9200/product/_doc/2
    }

    // 根据id查询
    @Test
    public void findById(){
        Product product = productDao.findById(2L).get();
        System.out.println(product);
    }

    // 查询所有
    @Test
    public void findAll(){
        Iterable<Product> all = productDao.findAll();
        for (Product product : all) {
            System.out.println(product);
        }
    }

    // 删除
    @Test
    public void delete(){
        Product product = new Product();
        product.setId(2L);
        productDao.delete(product);
    }

    // 批量新增
    @Test
    public void saveAll(){
        ArrayList<Product> productList = new ArrayList<>();
        for (int i = 0; i < 10; i++) {
            Product product = new Product();
            product.setId(Long.valueOf(i));
            product.setTitle("[" + i + "]" + "小米手机");
            product.setCategory("手机");
            product.setPrice(1999.0 + i);
            product.setImages("http://itholems.com" + i);
            productList.add(product);
        }
        productDao.saveAll(productList);
    }

    // 分页查询
    @Test
    public void findByPageable(){
        // 设置排序（排序方式，正序还是倒序，排序的id）
        Sort sort = Sort.by(Sort.Direction.DESC, "id");
        int currentPage = 0; // 当前页 第一页从0开始，1表示第二页
        int pageSize = 5; // 每页显示多少条
        PageRequest pageRequest = PageRequest.of(currentPage, pageSize, sort);
        Page<Product> productPage = productDao.findAll(pageRequest);
        for (Product product : productPage) {
            System.out.println(product);
        }
    }

}

在这里插入图片描述

三、ES SpringData 文档搜索

SpringData 文档搜索

package com.itholmes.es;

import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.index.query.TermQueryBuilder;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.domain.Page;
import org.springframework.data.domain.PageRequest;
import org.springframework.test.context.junit4.SpringRunner;

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringDataESSearchTest {

    @Autowired
    ProductDao productDao;

    // 文档搜索
    @Test
    public void termQuery(){
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("category", "手机");
        Iterable<Product> products = productDao.search(termQueryBuilder);
        for (Product product : products) {
            System.out.println(product);
        }
    }

    // 分页请求
    @Test
    public void termQueryByPage(){
        int currentPage = 0;
        int pageSize = 5;
        PageRequest pageRequest = PageRequest.of(currentPage, pageSize);
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("category", "手机");
        Page<Product> products = productDao.search(termQueryBuilder, pageRequest);
        for (Product product : products) {
            System.out.println(product);
        }
    }

}

此外还有，Spark Streaming框架 集成、Flink框架集成等等，先将数据经过它们处理，之后存储到ES服务器中。

四、ES 优化 硬件选择

Elasticsearch的基础是 Lucene，所有的索引和文档数据是存储在本地的磁盘中，具体路径可在ES的配置文件 …/config/elasticsearch.yml中配置。

SSD是 固态硬盘。

硬件选择推荐如下：
在这里插入图片描述

五、ES 优化 分片策略

分片 和 副本并不是无限分配的。

在这里插入图片描述

分片的代价：
在这里插入图片描述
在这里插入图片描述

具体要根据架构师技术人员进行确认：
在这里插入图片描述

遵循的原则：
在这里插入图片描述

推迟分片分配：
在这里插入图片描述

六、ES 优化 路由选择

存放规则：
在这里插入图片描述

查询的时候有两种情况：不带routing路由查询、待routing路由查询。
在这里插入图片描述

七、ES 优化 写入速度优化

针对搜索性能要求不高，但是对于写入要求较高的场景，我们需要尽可能的选择恰当写优化策略。
在这里插入图片描述

批量操作：
在这里插入图片描述
优化存储设备：
在这里插入图片描述

合理的使用合并：（将 段 合并 ）
在这里插入图片描述
减少Refresh次数：
在这里插入图片描述
加大Flush设置：
在这里插入图片描述
减少副本的数量：
在这里插入图片描述

七、ES 优化 内存设置

ES默认安装后设置的内存是1GB ，对于一个现实业务来说设个设置太小了。

不过，可以配置一下。

jvm.options文件进行配置：
在这里插入图片描述

配置内存的原则：
在这里插入图片描述
像上面那个64g的 最佳配置就是设置为31G。 -Xms 31g -Xmx 31g。

八、ES 优化 重要配置

在这里插入图片描述

xupengboo
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
详解ES分片
ThinkPet
06-06 1162
分片可以理解为是将一个大型索引拆分成多个较小部分的机制。ES中所有数据会均衡的存储在集群中各个节点的分片中。分片是一种存储形式概念，并非物理隔离。
Elasticsearch基础篇(七)：分片大小修改和路由分配规则
后端开发
01-12 3707
这样设计可以提高系统的可用性和容错性，因为数据的多个副本分布在不同的节点上，即使某个节点发生故障，系统仍然可以继续工作。副本分片是主分片的完整复制，位于不同的节点上。主分片的数量是索引创建时固定的，因为这个值与数据的分布和索引结构有关。每个索引都被划分成若干个主分片，每个主分片都是一个独立的索引。往索引中增加100条数据，文档分布如下：三个主分片的文档数量正好为100，随着文档数量的增加，三个主分片的数量会越来越均衡。在完成重新索引后，将应用中的写操作切换到新的索引，确保新数据写入新的索引。
ElasticSearch之数据分片
thlzjfefe的博客
06-12 3273
a、主节点：主节点不接受客户端的请求，他主要控制Elasticsearch集群，负责集群中的操作，比如创建/删除一个索引，跟踪哪些节点是群集的一部分，并决定哪些分片分配给相关的节点。在Elasticsearch中，我们可以使用相同类型(type)的文档表示相同的"事物"，因为他们的数据结构是相同的，每个类型都有自己的映射(mapping)或者结构定义，就像传统数据库表中的列一样，所有类型下的文档被储存在同一个索引下，但是类型的映射(mapping)会告诉Elasticsearch不同的文档如何被索引。
Elasticsearch索引分片的数量及大小分配策略
热门推荐
Elastic开源社区
10-20 1万+
Shard即数据分片，是ES的数据载体。在ES中数据分为primary shard（主分片）和replica shard（副本分片），每一个primary承载单个索引的一部分数据，分布于各个节点，replica为某个primary的副本，即备份。分片分配的原则是尽量均匀的分配在集群中的各个节点，以最大程度降低部分shard在出现意外时对整个集群乃至服务造成的影响。
ElasticSearch学习笔记-第四章 ES分片原理以及读写流程详解
weixin_42584100的博客
07-24 3460
ES集群、ES分片原理、ES读流程详解、ES写流程详解
Elasticsearch分片原理
踟蹰千年的博客
02-16 1万+
ES集群的基本概念 Cluster 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的 Shards主分片 代表索引分片，es可以把一个完整的索引分成多个分片...
Elasticsearch学习笔记(四)
rat_house的博客
01-08 286
聚合查询 sql语句中的having 条件在es聚合中的应用 1.Having count(*) > 1在Elasticsearch 中对应的是 Bucket Filter 聚合，语句如下所示： GET /spu/_search { "size": 0, "aggs": { "models": { "terms": { "field": "cate...
ElasticSearch学习笔记1
08-08
ElasticSearch学习笔记1 ElasticSearch是基于Lucene的搜索服务器，它提供了高性能的全文搜索功能，支持开箱即用的集群化扩展。ElasticSearch可以通过标准的REST API或特定于编程语言的客户端库与之交互。 一、什么...
elasticsearch自学笔记
最新发布
03-19
### Elasticsearch自学笔记知识点详解 #### 一、环境搭建与配置 **1.1 系统环境** - **背景说明：** 由于特定系统的限制（如ngtos2.6禁止新增非root用户），需要采取特殊措施确保Elasticsearch能在非root用户下...
Elastic Search学习笔记
01-04
本篇学习笔记将围绕 Elasticsearch 的基本查询操作展开，包括前置过滤、查询与排序以及统计功能。 #### 二、查询基础 Elasticsearch 提供了多种查询方式，常见的有匹配查询、过滤查询等。其中，过滤查询是一种非常...
ElasticSearch_Windows实现搜索学习笔记.pdf
09-25
总结来说，Elasticsearch因其分布式、实时和易用的特性，成为许多企业和项目的首选搜索和分析引擎，广泛应用于日志分析、商业智能、内容搜索等场景。随着大数据时代的到来，Elasticsearch的重要性愈发凸显，其强大的...
Kibana学习笔记
01-20
以下是对Kibana学习笔记的详细解释： 1. **配置** Kibana的配置涉及到对服务器地址、安全性和数据源的设定。配置文件一般位于Kibana安装目录下，可以通过编辑`kibana.yml`进行修改。在配置中，可能需要启用SSL以...
深入理解Elasticsearch分片
qq_35939417的博客
12-29 3448
了解分片的基本原理，对Elasticsearch性能调优有帮助。
ES的数据分片策略
lzf的博客
05-05 1895
Elastic search 基本概念 Cluster 集群，一个ES集群是由多个节点(Node)组成的，每个集群都有一个cluster name 作为标识 `cluster.name: 【elastic search cluster name】` 在同一网段下的Elastic search实例会通过cluster name 决定加入哪个集群下。 复制代码 node 节点，一个ES实例就是一个node，一个机器可以有多个实例，所以并不是说一台机器就是一个node，大多数情况下，每个node运行在
Elasticsearch 分片策略
这个需求，做不了
07-25 2336
和数据库中的表空间类似，不过分片是为每个索引设置，一个索引可以有多个分片，分片分为主分片和副本分片，主分片和副本分片类似于数据库中的主库和备库。注：主分片并不等于主节点，主分片可能存在于 ES 集群的非主节点上。这是由分片分配功能决定的。这个我们下面会说。
3分钟快速了解es中分片的概念
u011197085的博客
04-30 3448
同时，副本分片可以提高系统的容错能力，因为在某个分片出现故障时，副本分片可以顶替主分片继续提供服务。在单节点集群中，您可以将副本分片的数量设置为 1 或更高，但实际上这些副本分片不会被分配，因为 Elasticsearch 不会在同一个节点上分配主分片和副本分片。当您将单节点集群扩展为多节点集群时，Elasticsearch 会自动将副本分片分配到其他可用节点，从而提高数据的可用性和容错能力。在这个示例中，我们创建了一个名为 “books” 的索引，并指定了 3 个主分片和 1 个副本分片。
ES分片副本设置及集群部署
yuec1998的博客
04-10 1万+
es分片副本设置，es集群部署，es增删改查在集群中的流程，es优化
Elasticsearch （优化）分片策略
weixin_45417821的博客
06-04 1645
文章目录合理设置分片数推迟分片分配 合理设置分片数 分片和副本的设计为 ES 提供了支持分布式和故障转移的特性，但并不意味着分片和副本是可以无限分配的。而且索引的分片完成分配后由于索引的路由机制，我们是不能重新修改分片数的。 可能有人会说，我不知道这个索引将来会变得多大，并且过后我也不能更改索引的大小，所以为了保险起见，还是给它设为 1000 个分片吧。但是需要知道的是，一个分片并不是没有代价的。需要了解： 一个分片的底层即为一个 Lucene 索引，会消耗一定文件句柄、内存、以及 CPU 运转。 每一个
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xupengboo

你的鼓励将是我创作最大的动力。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值