Elasticsearch：服务器部署es内存分配比例&内存溢出问题

最新推荐文章于 2024-06-21 15:03:55 发布
最新推荐文章于 2024-06-21 15:03:55 发布
阅读量2.6k 收藏 3
点赞数
分类专栏： 报错处理经验 ElasticSearch 文章标签： elasticsearch java es 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43859729/article/details/107688779
版权

目录

1.问题

在部署Elasticsearch的时候，有一台128g左右的机器，有两套es
起初分配给es各64g，但是会出现内存溢出问题

2.错误原因

参考了一些大佬的文章，如下

  1. ES是JAVA应用
  2. 底层存储引擎是基于Lucene的

ES内存那点事

官网推荐给Elasticsearch分配的内存不能超过32GB(小于32GB时会启用compressed oops，节省很多内存)
并且还必须是小于物理内存的50%，以便为Lucene利用Cached Memory提供更多的剩余内存。

ElasticSearch内存使用分析

排查之后得知，Elasticsearch配置的内存是自己使用的，底层的Lucene需要额外内存

3.解决

所以把es内存设置为30g就可以了

Oxye
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
rancher1.6安装elasticsearch报内存溢出
weixin_43960618的博客
11-09 401
内存溢出直接导致服务挂掉. 解决办法: 修改内存大小: 升级后需要重新安装分词器. 附件 rancher中elasticsearch报内存溢出.docx
Elasticsearch 合理内存分配
01-07 831
Elasticsearch默认安装后设置的内存是1GB，对于任何一个业务部署来说，这个都太小了。如果你正在使用这些默认堆内存配置，你的集群配置可能有点问题。 这里有两种方式修改Elasticsearch的堆内存（下面就说内存好了），最简单的一个方法就是指定ES_HEAP_SIZE环境变量。服...
ES内存溢出报错问题解决方案
最新发布
apollo_miracle的博客
06-21 880
1 错误详情1 错误详情在这里找到了3个数值Data too large, data for [] would be [125643918/119.8mb] 这个就是上限内存（缺省是它是ES最大内存的95%)real usage: [125639936/119.8mb], ES已经使用的内存new bytes reserved: [3982/3.8kb] 本次查询需要的内存。
elasticsearch 内存溢出
yixiaoqi2010的专栏
12-22 6998
ES在做聚合的时候，容易发生内存溢出https://www.elastic.co/guide/cn/elasticsearch/guide/current/_limiting_memory_usage.html
ElasticSearch——Java 内存溢出
世界中心的专栏
04-27 1万+
Java 内存溢出（java.lang.OutOfMemoryError）的常见情况和处理方式总结 java.lang.OutOfMemoryError这个错误我相信大部分开发人员都有遇到过，产生该错误的原因大都出于以下原因：JVM内存过小、程序不严密，产生了过多的垃圾。 导致OutOfMemoryError异常的常见原因有以下几种： 内存中加载的数据量过于庞大，如一次从数据库取
elasticsearch Java 内存溢出（java.lang.OutOfMemoryError)
qq_31409207的博客
03-13 3028
修改java的xms（最小内存值）xmx（最大内存值）大小; 需要修改elasticsearch的内存配置文件$HOME/config/jvm.options，看系统配置情况，分配内存大小
docker启动elasticsearch时内存不足问题及解决方法
01-09
docker安装并启动elasticsearch时内存不足 系统centos8（阿里云ecs服务器） [root@iZ2zeczvvb79boy368xppwZ ~]# cat /etc/redhat-release CentOS Linux release 8.1.1911 (Core) 安装过程 docker pull elastic...
一键部署elasticsearch集群/单机版shell脚本(适用于Centos7 x86服务器)
04-21
该安装包实现利用给定参数安装单机版或者集群版es数据库，指定参数后安装过程全自动，自动修改系统内核，配置jdk，自动识别并配置内存，自动根据节点数配置集群脑溢节点配置数。涉及到以下操作 1、自动检测配置java...
Kubernetes持久化部署elasticsearch7.15.0分布式集群
02-21
原文链接：https://blog.csdn.net/m0_37814112/article/details/122965720 说明：包含elasticsearch7.15.0集群3节点、5节点、7节点等三种方式的K8S部署yaml文件、镜像文件，里面有详细的README.txt部署参考
ansible-elasticsearch:帮助部署和管理 Elasticsearch 集群的 Ansible 角色
07-21
Ansible 角色旨在帮助部署和管理 Elasticsearch 集群。 要求 我们假设 nginx 是您用于 Elasticsearch 的 Web 代理前端，并将通过此角色安装在系统上。 角色变量 现在唯一的变量是： elasticsearch_group_name - 由...
Elasticsearch OOM（内存溢出）
qq_40907977的博客
02-28 7696
首先，说明笔者的机器环境（不结合环境谈解决方案都是耍流氓）: cpu 32核，内存128G，非固态硬盘：RAID0 (4T * 6)，单节点，数据量在700G到1800G，索引15亿~21亿。敖丙大人，在蘑菇街，可多集群分片，固态硬盘，比不起啊。 业务场景 保存7天索引，每天有400G~500G。发现ES时不时的OOM(out of memory)和重启。当索引超过500G的时候，ES重启到加载所...
公司银子不多，遇到Elasticsearch OOM（内存溢出），除了瞪白眼，还能干啥...
这个时代，作为程序员可能要学习小程序
05-21 415
点击上方蓝色“终端研发部”，选择“设为星标”学最好的别人，做最好的我们作者：CoderBaby来源：cnblogs.com/NaughtyCat/p/elasticsearch-OOM-...
Elasticsearch内存溢出解决
qq_39169917的博客
05-20 219
我创建容器的时候设置的为：ES_JAVA_OPTS="-Xms1024m -Xmx1024m"重新创建容器且修改内存配置为ES_JAVA_OPTS="-Xms4g -Xmx4g"然后重启容器 docker restart es01 查看日志发现成功启动。基于自己服务器的情况，我删除了原先的容器(es01是我节点一的容器名)查看容器日志报错大概信息是认证出问题了如下图。可以看到内存大小已修改为4g。将认证文件复制到容器中。
elasticsearch防止内存溢出
ronon77的专栏
02-22 3041
Limiting Memory Usageedit On this page Fielddata Size Monitoring fielddata Circuit Breaker Elasticsearch - The Definitive Guide: 2.x (current) 1.x Foreword Preface Getti...
【Elasticsearch】ES写入满排查思路-内存溢出
九师兄
02-23 4821
1.概述 转载：https://bbs.huaweicloud.com/forum/thread-69707-1-1.html 2.场景 场景1 内存参数配置不合理。 场景2 bulk提交量过大，导致内存被堆满。 场景3 客户端IP，端口配置问题。 场景4 写入时指定DOC ID，导致读IO高。 场景5 bulk队列积压，请求线程被拒绝。 场景6 热分片问题。 场景7 集群不稳定，大量分片迁移和恢复。 场景8 部分实例长时间不断的full gc，导致实例处于假死
es内存溢出启动报错java.lang.OutOfMemoryError: Java heap space
被我探险家的博客
02-02 2920
es内存溢出启动报错java.lang.OutOfMemoryError: Java heap space: Unable to create data/java_pid6.hprof: File exists Terminating due to java.lang.OutOfMemoryError: Java heap space
ElasticSearch系列（七）es内存大小设置
m0_54850467的博客
04-02 1万+
近期发现线上es服务内存告警，使用率超过90%，需要处理，下面记录下处理流程。 1. 查看进程内存占用情况 使用top命名，可以显示进程列表， 然后键盘按下M键，可以按照内存降序，结果如下： elastic+就是es的进程。 2.查看es配置的内存大小 使用 ps -ef | grep java (或者按照上面的进程号找)，显示java进程，如下是es进程： 可以看到es进程启动时设置的java堆内存为-Xms5g -Xmx-5g，也就是5g，这两个参数一般建议设置成一样。 修改之前，这里设置的是6g，
生产环境elasticsearch的配置建议
热门推荐
thomas0yang的专栏
02-17 3万+
以下主要来自官方文档，主要分为几块： 硬件方面 内存 CPU 硬盘 网络 其他常用注意 操作系统 较大的文件描述符 设置MMap 管理工具 JVM虚拟机 请不要调整JVM设置 请不要修改垃圾收集器 给lucene留下一半的内存空间 不要超过32G 避免过大的使用内存 swapping是性能的死穴 ES参数配置 禁止调整线程池 设置集群和节点名称 设置路径 设置minimum_master_nodes
ElasticSearch搜索引擎： 内存分析与设置
大叶子不小的博客
10-09 949
在 Elasticsearch 的运行过程中，如何合理分配与设置内存是一件十分重要的事情，否则十分容易出现各种问题。
Elasticsearch入门：实战部署与应用案例
在当今的信息时代，Elasticsearch（简称ES）是一个至关重要的开源分布式全文检索引擎，它以Java为基础，利用Lucene作为核心技术，致力于简化搜索引擎的使用，尤其是全文搜索。ES的主要特点包括： 1. **实时性与扩展...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值