ES ElasticSearch Connection reset by peer问题解决

问题现象

程序隔一段时间不操作后,再请求es就会报错Connection reset by peer,之后连续几次操作都正常

解决方法

修改客户端的keepalive时间,将以下代码复制进项目即可

    @Bean
    RestHighLevelClient restHighLevelClient(RestClientBuilder builder, ElasticsearchRestClientProperties elasticsearchRestClientProperties) {
        builder.setHttpClientConfigCallback(httpClientBuilder -> {
            // 配置用户身份凭据提供
            httpClientBuilder.setDefaultCredentialsProvider(new PropertiesCredentialsProvider(elasticsearchRestClientProperties));
            // 1分钟
            httpClientBuilder.setKeepAliveStrategy((response, context) -> 1000 * 60);
            return httpClientBuilder;
        });
        return new RestHighLevelClient(builder);
    }


    /**
     * 凭证提供器
     */
    private static class PropertiesCredentialsProvider extends BasicCredentialsProvider {
        PropertiesCredentialsProvider(ElasticsearchRestClientProperties properties) {
            if (StringUtils.hasText(properties.getUsername())) {
                Credentials credentials = new UsernamePasswordCredentials(properties.getUsername(),
                        properties.getPassword());
                setCredentials(AuthScope.ANY, credentials);
            }
            properties.getUris().stream().map(this::toUri).filter(this::hasUserInfo)
                    .forEach(this::addUserInfoCredentials);
        }

        private URI toUri(String uri) {
            try {
                return URI.create(uri);
            } catch (IllegalArgumentException ex) {
                return null;
            }
        }

        private boolean hasUserInfo(URI uri) {
            return uri != null && StringUtils.hasLength(uri.getUserInfo());
        }

        private void addUserInfoCredentials(URI uri) {
            AuthScope authScope = new AuthScope(uri.getHost(), uri.getPort());
            Credentials credentials = createUserInfoCredentials(uri.getUserInfo());
            setCredentials(authScope, credentials);
        }

        private Credentials createUserInfoCredentials(String userInfo) {
            int delimiter = userInfo.indexOf(":");
            if (delimiter == -1) {
                return new UsernamePasswordCredentials(userInfo, null);
            }
            String username = userInfo.substring(0, delimiter);
            String password = userInfo.substring(delimiter + 1);
            return new UsernamePasswordCredentials(username, password);
        }
    }

application.yml的配置

以上代码的PropertiesCredentialsProvider类直接从SpringBoot自动配置源码里摘过来的

因为RestClientBuilder类未提供httpClientConfigCallback字段的get方法,如果直接调用setHttpClientConfigCallback配置 setKeepAliveStrategy 的话会覆盖掉SpringBoot进行的配置

(其中就包括 用户身份验证就无法使用了,项目启动会报es 401错误)

我翻了半天源码,没有更简便的写法了,就只能将用户身份代码复制出来,进行重新配置

org.springframework.boot.autoconfigure.elasticsearch.ElasticsearchRestClientAutoConfiguration

为SpringBoot自动配置类

经过上线后一段时间的测试,问题已经没有再出现了

问题原因

报这个错的原因是 因为服务端已经关闭了链接,但是客户端还在使用这个链接

那为什么会出现这个问题?

有以下两个问题组成

1. 为什么服务端会关闭链接?

服务器会有TCP的Keepalive 经过一段时间如果没有操作就会自动断开连接功能,而ES默认就是取服务器的时长配置

linux查看超时时间默认为两小时

# 查看超时时间(单位秒)
cat /proc/sys/net/ipv4/tcp_keepalive_time

windows默认也是两小时

2. 客户端为什么一直持有?

因为默认配置为-1,就是不过期

 

  • 15
    点赞
  • 32
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
Connection reset by peer是指由于对端(peer)的连接被重置而导致的连接错误。该错误通常伴随着ClientAbortException: java.io.IOException: Broken pipe的出现。在采集Metrics发送至ES的过程中,可能会出现在单数整点时正常发送,而在双数整点时发送失败的情况。这可能是因为esClient自动设置的KeepAlive时间为-1,即持续连接,而受到外界因素(如Firewall)的影响导致了TCP连接的单方面断开,从而引发了Connection reset by peer的错误。解决这个问题的方法是调整esClient的KeepAlive时间,确保连接在适当的时间内保持活动状态。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [ES报错:Connection reset by peer 解决经历](https://blog.csdn.net/qq_27327261/article/details/119995930)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [Connection reset by peer -- 客户端非正常中断连接](https://blog.csdn.net/tobrainto/article/details/127037321)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值