elasticsearch进阶(二)错误问题汇总

本文档记录了在导入3亿条数据到Elasticsearch集群时遇到的问题,包括节点失去心跳、9300端口拒绝连接、JVM堆内存设置和Netty版本冲突等。解决方案包括调整bulk请求超时时间、正确设置JVM堆大小以及使用Maven Helper解决依赖冲突。
摘要由CSDN通过智能技术生成

这篇文章用来记录从今起(2018/7/1)开始,elasticsearch遇见的错误。

2018/7/1

以下三条记录源于5台机器导入近3亿条文档

1.集群压力大,某台机器失去“心跳”后,其他机器好像总找不回它,导致数据无法继续传输
这里写图片描述
查看日志,是说9300拒绝连接,想不明白,怎么会拒绝连接?很显然与防火墙无关,果然,关了防火墙依然有出现这种情况的可能。
【我感觉还是9300的写入压力太大?】

目前既没有找到好的解释,也没有好的解决办法
目前的解决办法是:
将bulk提交的request——timeout设置得很大,比如600秒,retries数也设置大一些,比如说100次。这样一来,集群不可用时,自己的代码程序不会退出。因为代码退出代价很大,你不知道什么时候集群失效了,数据传输到了哪些文件的哪些位置,重来又太耗时。
故让代码持续的去尝试请求,然后手动修复集群。

2.[WARN ][o.e.m.j.JvmGcMonitorService] [es-ip13] [gc][160] overhead, spent [97
这是个小坑,设置初始堆和最大堆的值后(我是12g),需要将下方的默认的1g注销掉,否

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值