问题现象
程序隔一段时间不操作后,再请求es就会报错Connection reset by peer,之后连续几次操作都正常
问题原因
报这个错的原因是 因为服务端已经关闭了链接,但是客户端还在使用这个链接
那为什么会出现这个问题?
有以下两个问题组成
1. 为什么服务端会关闭链接?
服务器会有TCP的Keepalive 经过一段时间如果没有操作就会自动断开连接功能,而ES默认就是取服务器的时长配置
linux查看超时时间默认为两小时
# 查看超时时间(单位秒)
cat /proc/sys/net/ipv4/tcp_keepalive_time
windows默认也是两小时
2. 客户端为什么一直持有?
因为默认配置为-1,就是不过期
解决方法
修改客户端的keepalive时间,将以下代码复制进项目即可
@Bean
RestHighLevelClient restHighLevelClient(RestClientBuilder builder, ElasticsearchRestClientProperties elasticsearchRestClientProperties) {
builder.setHttpClientConfigCallback(httpClientBuilder -> {
// 配置用户身份凭据提供
httpClientBuilder.setDefaultCredentialsProvider(new PropertiesCredentialsProvider(elasticsearchRestClientProperties));
// 1分钟
httpClientBuilder.setKeepAliveStrategy((response, context) -> 1000 * 60);
return httpClientBuilder;
});
return new RestHighLevelClient(builder);
}
/**
* 凭证提供器
*/
private static class PropertiesCredentialsProvider extends BasicCredentialsProvider {
PropertiesCredentialsProvider(ElasticsearchRestClientProperties properties) {
if (StringUtils.hasText(properties.getUsername())) {
Credentials credentials = new UsernamePasswordCredentials(properties.getUsername(),
properties.getPassword());
setCredentials(AuthScope.ANY, credentials);
}
properties.getUris().stream().map(this::toUri).filter(this::hasUserInfo)
.forEach(this::addUserInfoCredentials);
}
private URI toUri(String uri) {
try {
return URI.create(uri);
} catch (IllegalArgumentException ex) {
return null;
}
}
private boolean hasUserInfo(URI uri) {
return uri != null && StringUtils.hasLength(uri.getUserInfo());
}
private void addUserInfoCredentials(URI uri) {
AuthScope authScope = new AuthScope(uri.getHost(), uri.getPort());
Credentials credentials = createUserInfoCredentials(uri.getUserInfo());
setCredentials(authScope, credentials);
}
private Credentials createUserInfoCredentials(String userInfo) {
int delimiter = userInfo.indexOf(":");
if (delimiter == -1) {
return new UsernamePasswordCredentials(userInfo, null);
}
String username = userInfo.substring(0, delimiter);
String password = userInfo.substring(delimiter + 1);
return new UsernamePasswordCredentials(username, password);
}
}
application.yml的配置
以上代码的PropertiesCredentialsProvider类直接从SpringBoot自动配置源码里摘过来的
因为RestClientBuilder类未提供httpClientConfigCallback字段的get方法,如果直接调用setHttpClientConfigCallback配置 setKeepAliveStrategy 的话会覆盖掉SpringBoot进行的配置
(其中就包括 用户身份验证就无法使用了,项目启动会报es 401错误)
我翻了半天源码,没有更简便的写法了,就只能将用户身份代码复制出来,进行重新配置
org.springframework.boot.autoconfigure.elasticsearch.ElasticsearchRestClientAutoConfiguration
为SpringBoot自动配置类
经过上线后一段时间的测试,问题已经没有再出现了