Elasticsearch笔记九之优化

最新推荐文章于 2025-09-02 10:27:03 发布
原创 最新推荐文章于 2025-09-02 10:27:03 发布 · 4.1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Elasticsearch #java #优化 #极速查询 #setRouting

本文介绍了Elasticsearch的优化技巧，包括调整索引片段数量、内存设置、分片和副本配置、删除文档的策略、日志级别调整、单态获取ES对象以及实现极速查询的方法。通过这些措施，可以提升Elasticsearch的查询效率和整体性能。
优化从索引片段，内存设置，副本，分片，日志等方面入手。
1：索引片段
Es运行时会生成很多索引片段，执行查询时会打开这些索引片断。系统会限制打开索引片断的个数一旦超过这个个数限制就无法打开索引片断。我们可以通过命令来查看更改索引片断的限制数量。
索引片断位置
/usr/local/elasticsearch-1.4.4/data/elasticsearch/nodes/0/indices/shb01/0/index

ulimit –a 查看索引片断数量，默认是1024


ulimit -n 32000 更改索引片断数量



如果索引片断太多会影响效率我们可以在es集群空闲时对索引片断进行合并。合并可以通过curl命令和java来实现。
Curl
curl -XPOST http://192.168.79.131:9200/shb01/_optimize?max_num_segments=1

java

/**
最低0.47元/天 解锁文章
【Elasticsearch】Elasticsearch性能调优
九师兄
05-11 1446
1.概述 转载：Elasticsearch性能调优 因为总是看到很多同学在说elasticsearch性能不够好，集群不够稳定，询问关于elasticsearch的调优，但是每次都是一个个点的单独讲，很多时候都是case by case的解答，今天简单梳理下日常的elasticsearch使用调优，以下仅为自己日常经验之谈，如有疏漏，还请大家帮忙指正。 一、配置文件调优 elasticsearch.yml 内存锁定 bootstrap.memory_lock：true 允许 JVM 锁住内存，禁止操作系统交
Elasticsearch 性能调优：从萌新到高手的进化之路
java专栏
08-01 874
硬件配置是Elasticsearch性能的基础，确保你的服务器配置符合上述要求，可以大大提升性能。合理的集群配置能够帮助我们构建一个健壮且高性能的Elasticsearch集群。通过合理的设计索引映射，我们可以让Elasticsearch更好地处理数据查询。编写高效的查询语句能够帮助我们更快地获取所需数据。正确的JVM配置能够确保Elasticsearch稳定运行。启用缓存机制能够帮助我们加快查询速度。通过性能监控，我们可以及时发现并解决性能瓶颈。ILM能够帮助我们自动管理索引，释放不再使用的资源。
ElasticSearch性能优化策略
08-18
ElasticSearch性能优化策略
Elasticsearch的优化
最新发布
cxbtdd的博客
09-02 1078
Elasticsearch高效使用与优化指南 【摘要】本文从硬件配置、分片策略、写入优化、内存管理、分页查询、容灾方案六个维度系统总结Elasticsearch核心优化方法。关键点包括：1）使用SSD硬盘并配置多路径存储；2）分片大小控制在10-50GB，遵循"节点数≤主分片数*(副本数+1)"原则；3）写入优化采用批量提交、减少刷新频率、调整translog策略；4）JVM堆内存不超过32GB且低于物理内存50%；5）深度分页推荐search_after+PIT方案替代传统scroll
Elasticsearch 亿级数据检索案例与原理
xmt1139057136的专栏
11-02 1027
一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关...
ElasticSearch 性能优化
不见其长，日有所长
02-25 982
1. 概要 索引层面： 增加 Refresh 时间间隔 减少副本数量 开启异步刷写 开启慢查询日志 服务器层面： 内存设置 集群分片设置 Mapping建模 索引优化设置 查询优化 2. 详情 2.1 ...
Elasticsearch入门学习笔记
06-28
这篇入门学习笔记将引导初学者了解如何安装、配置以及使用Elasticsearch。 首先，让我们从安装开始。要安装Elasticsearch，你可以访问官方网站（https://www.elastic.co/cn/downloads/elasticsearch）下载最新版本...
ElasticSearch学习笔记之四：ElasticSearch优化
大龄IT民工
06-05 985
Elasticsearch的基础是Lucene，所有的索引和文档数据是存储在本地的磁盘中，具体的路径可在ES的配置文件…磁盘在现代服务器上通常都是瓶颈。Elasticsearch重度使用磁盘，你的磁盘能处理的吞吐量越大，你的节点就越稳定。
ElasticSearch学习篇5_《Elasticsearch源码解读与优化实战》张超-读书笔记
xiaosi的博客
02-16 1381
1、初学者牵强理解，ES的数据表示形式与传统的关系型数据库类比，indices（相当于数据库）、types（相当于表）、fileds（相当于字段）、documents（相当于行数据），后续更新的版本可能会删除types的概念，直接一个indeices下对应documents 2、倒排索引：采用Lucene倒排作为底层，这种结构适用于快速的全文搜索。实现原理：为了创建倒排索引，首先需要将文档拆分为独立的词条tokens，然后创建一个包含所有不重复的词条的**排序列表**，然后列出每个词条出现在哪个文档里面。
elasticsearch笔记1
08-08
在Elasticsearch中，查询是检索数据的核心操作，本笔记主要介绍了多种查询方式，帮助我们更有效地从索引中获取匹配的数据。 1. **全部查询**： 使用`match_all`查询可以返回索引中的所有文档。在示例中，GET请求`...
ElasticSearch性能优化
05-02 2112
硬件选择 Elasticsearch 的基础是 Lucene，所有的索引和文档数据是存储在本地的磁盘中，具体的 路径可在 ES 的配置文件../config/elasticsearch.yml 中配置。磁盘在现代服务器上通常都是瓶颈。Elasticsearch 重度使用磁盘，你的磁盘能处理的吞吐量 越大，你的节点就越稳定。 1、使用 SSD。就像其他地方提过的， 他们比机械磁盘优秀多了。 2、使用 RAID 0。条带化 RAID 会提高磁盘 I/O，代价显然就是当一块硬盘故障时整个就故障了。不要 使用
性能优化：Elasticsearch的性能优化
AI天才研究院
01-18 1229
1.背景介绍 Elasticsearch是一个分布式、实时的搜索和分析引擎，它可以处理大量数据并提供快速、准确的搜索结果。随着数据量的增加，Elasticsearch的性能可能会受到影响。因此，对于Elasticsearch的性能优化是非常重要的。 在本文中，我们将讨论Elasticsearch的性能优化，包括核心概念、算法原理、具体操作步骤、代码实例以及未来发展趋势。 2.核心概念与联系 ...
elasticsearch性能调优相关
liukuan73的专栏
02-05 3365
http://nocf-www.elastic.co/guide/en/elasticsearch/reference/current/indices-create-index.html https://yq.aliyun.com/articles/38285 http://www.mamicode.com/info-detail-1570228.html http://techno
ElasticSearch10-性能优化
李宥的博客
01-01 1936
【代码】ElasticSearch10-性能优化。
Elasticsearch之优化
weixin_34273046的博客
11-13 215
为什么es需要优化？ 　　答： [root@master elasticsearch-2.4.0]# ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited sched...
Elasticsearch优化
Jak的博客
06-18 1489
要设置查询路由参数，需要在查询DSL中指定"_routing"字段的值，该值对应于文档的路由值。文档的路由值通常是由应用程序或索引请求指定的。需要注意的是，Scroll API会占用集群中的资源，并且会生成一个保持打开状态的上下文，因此在使用完毕后，应及时清理该上下文以释放资源。需要注意的是，查询缓存是基于查询的哈希值进行存储和检索的，所以确保查询在内容和结构上是唯一的，以便正确使用查询缓存。需要注意的是，查询路由参数的使用应根据实际需求进行评估，并确保文档的路由值和查询路由参数的一致性以获得预期的结果。
Elasticsearch性能调优
杨春建的博客
04-12 1992
原文地址：http://www.cnblogs.com/huangpeng1990/p/4364341.html 所有的修改都可以在elasticsearch.yml里面修改，也可以通过api来修改。推荐用api比较灵活 1.不同分片之间的数据同步是一个很大的花费，默认是1s同步，如果我们不要求实时性，我们可以执行如下: $ curl -XPUT 'http://localhost:
Elasticsearch 性能调优
热门推荐
布道
02-26 1万+
Elasticsearch（ES）作为NOSQL+搜索引擎的有机结合体，不仅有近实时的查询能力，还具有强大的聚合分析能力。本文基于ES 5.6.4，从性能和稳定性两方面，从linux参数调优、ES节点配置和ES使用技巧三个角度入手，介绍ES调优的基本方案。当然，ES的调优绝不能一概而论，需要根据实际业务场景做适当的取舍和调整。 当我们发现es使用还是非常慢，需要优先关注在以下这两类的运行情况。 ...
ElasticSearch简单的性能调优
weixin_43110668的博客
04-18 1977
系统层面 系统层面的调优主要是内存的设定与避免交换内存。ES 安装后默认设置的堆内存是 1GB，这很明显是不够的，那么接下来就会有一个问题出现：我们要设置多少内存给 ES 呢？其实这是要看我们集群节点的内存大小，还取决于我们是否在服务器节点上还是否要部署其他服务。如果内存相对很大，如 64G 及以上，并且不在 ES 集群上部署其他服务，那么建议 ES 内存可以设置为 31G-32G，因为这里有一个 32G 性能瓶颈问题，直白的说就是即使你给了 ES 集群大于 32G 的内存，其性能也不一定会更加优良，甚至
Windows系统中ElasticSearch的优化版本选择指南
提供的笔记文档地址是一个重要的学习资源，可以帮助用户了解如何在Windows环境下安装和配置Elasticsearch。这类文档通常包含安装步骤、版本兼容性说明以及常见的故障排除方法。 8. Elasticsearch在Java后端的应用 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值