ES报错:[parent] Data too large, data for [<http_request>] would be larger than limit of XXXX

当es这个错误的时候 :[parent] Data too large, data for [<http_request>] would be larger than limit of [23941899878/22.2gb], with { bytes_wanted=23941987633 bytes_limit=23941899878 }


通常原因是在于fielddata的内存被占用完了,其他索引无法分配更多的内存。

另外,查询语句写的不好,单个请求聚合查询的数据太多,同样会大量占用内存,一个请求就OOM了。所以,注意统计的时候聚和桶数不要无限制。

解决:

kibana里执行下这俩命令:

#限定内存使用百分比 indices.fielddata.cache.size: 20%,超出限制,清除内存已有fielddata数据。

#默认无限制,限制内存使用,但是会导致频繁evict和reload,大量IO性能损耗,以及内存碎片和gc

PUT _cluster/settings
{  
	"persistent": {    
		"indices.breaker.fielddata.limit": "30%"   
	}
}

#清理集群所有使用内存缓存
POST /_cache/clear

如果kibana进不去,执行下面curl

注意:账号、密码

#限定内存使用百分比 indices.fielddata.cache.size: 20%,超出限制,清除内存已有fielddata数据。

curl  -u 账号:密码 -XPUT "http://localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d'{  "persistent": {    "indices.breaker.fielddata.limit": "20%"   }}'


#清理集群所有使用内存缓存
curl  -u 账号:密码 -XPOST "http://localhost:9200/_cache/clear"

此时,问题基本解决!!

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值