解决ES数据量过大导致的”Data too large“问题

对线上nginx日志监控,采用的Elasticsearch+Logstash+Grafand架构的模式,本来运行的很正常的,今天上去看的时候,监控图标出现了以下报错:
在这里插入图片描述
后查阅相关资料,启动es的时候忘记设置堆内存(ES_HEAP_SIZE)导致这种情况。es默认启动是指定堆内存为1G,在生产环境肯定是不能满足的。于是,对ES的堆内存进行重新指定,修改方式如下:
打开ES的配置文件目录,找到ES的内存配置文件,文件名如下:
在这里插入图片描述打开jvm.optinons将原本默认的 -Xms1g 、-Xms1g两个参数的值进行修改(实际配置大小根据主机资源大小决定):

在这里插入图片描述
除此之外,还需要修改ES默认保存缓存的大小,方法为在 elasticsearch.yml 配置文件加上如下配置:

vim /etc/ elasticsearch/ elasticsearch.yml

# 避免发生OOM,发生OOM对集群影响很大的
indices.breaker.total.limit: 80%

# 有了这个设置,最久未使用(LRU)的 fielddata 会被回收为新数据腾出空间   
indices.fielddata.cache.size: 10%

# fielddata 断路器默认设置堆的  作为 fielddata 大小的上限。
indices.breaker.fielddata.limit: 60%

# request 断路器估算需要完成其他请求部分的结构大小,例如创建一个聚合桶,默认限制是堆内存
indices.breaker.request.limit: 60%

之后重启ES
执行清除缓存命令
curl -XPOST -u admin:Admin@123 ‘http://xxx:9200/elasticsearch/_cache/clear?fielddata=true’

然后重新查看granfa,发现问题得到解决

  • 2
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
根据提供的引用内容,"org.elasticsearch.ElasticsearchStatusException: Elasticsearch exception Data too large"错误是由于数据大小超过了Elasticsearch的限制引起的[^1]。具体来说,错误信息中提到了"circuit_breaking_exception",这是Elasticsearch中的一种机制,用于防止节点过载。当数据大小超过了限制时,Elasticsearch会触发断路器并抛出此异常。 为了解决这个问题,可以尝试以下方法: 1. 增加Elasticsearch的限制:可以通过修改Elasticsearch的配置文件来增加限制。具体来说,可以增加`indices.breaker.total.limit`和`indices.breaker.request.limit`的值,以适应更大的数据量。但是需要注意,增加限制可能会导致节点负载过高,因此需要根据实际情况进行调整。 2. 减少数据量:如果数据量超过了Elasticsearch的限制,可以考虑减少数据量。可以通过以下方法来减少数据量: - 分批处理数据:将大数据集分成多个较小的批次进行处理,以避免超过限制。 - 压缩数据:使用压缩算法对数据进行压缩,以减少数据的大小。 - 删除不必要的字段:如果数据中包含不必要的字段,可以考虑删除这些字段以减少数据量。 3. 增加Elasticsearch集群的规模:如果以上方法无法解决问题,可以考虑增加Elasticsearch集群的规模,以提供更多的资源来处理大数据量。 请注意,具体的解决方法可能因为你的具体情况而有所不同。建议根据实际情况选择适合的方法来解决问题

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值