【springcloud gateway诡异间歇性500异常解决】500 Server Error，ConcurrentModificationException: null

已于 2023-08-05 11:29:47 修改
阅读量1.5w 收藏 17
点赞数 8
分类专栏： Spring 文章标签： java spring spring cloud
于 2022-02-19 23:26:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tangwwk/article/details/123025534
版权

最近在搭建一个新的网关时，发布页面访问或者postman访问，会间歇性,500异常,折腾了很长的时间，搜了国内国外各种网站，都没有具体的解决方案。

    经过2，3天的 关注和分析定位，最终解决，mark一下

具体异常信息

022-02-19 21:50:20.279 ERROR 35366 --- [ctor-http-nio-3] a.w.r.e.AbstractErrorWebExceptionHandler : [84a6cc5f-36]  500 Server Error for HTTP POST "/template/apilog/add"

java.util.ConcurrentModificationException: null
	at java.util.ArrayList$Itr.checkForComodification(ArrayList.java:909) ~[na:1.8.0_202]
	Suppressed: reactor.core.publisher.FluxOnAssembly$OnAssemblyException: 
Error has been observed at the following site(s):
	|_ checkpoint ⇢ org.springframework.web.cors.reactive.CorsWebFilter [DefaultWebFilterChain]
	|_ checkpoint ⇢ org.springframework.cloud.gateway.filter.WeightCalculatorWebFilter [DefaultWebFilterChain]
	|_ checkpoint ⇢ com.alibaba.csp.sentinel.adapter.spring.webflux.SentinelWebFluxFilter [DefaultWebFilterChain]
	|_ checkpoint ⇢ org.springframework.boot.actuate.metrics.web.reactive.server.MetricsWebFilter [DefaultWebFilterChain]
	|_ checkpoint ⇢ HTTP POST "/template/apilog/add" [ExceptionHandlingWebHandler]
Stack trace:
		at java.util.ArrayList$Itr.checkForComodification(ArrayList.java:909) ~[na:1.8.0_202]
		at java.util.ArrayList$Itr.next(ArrayList.java:859) ~[na:1.8.0_202]
		at reactor.core.publisher.FluxIterable$IterableSubscription.slowPath(FluxIterable.java:254) [reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.core.publisher.FluxIterable$IterableSubscription.request(FluxIterable.java:225) [reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.core.publisher.FluxMapFuseable$MapFuseableSubscriber.request(FluxMapFuseable.java:162) ~[reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.core.publisher.FluxConcatMap$ConcatMapImmediate.onSubscribe(FluxConcatMap.java:228) ~[reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.core.publisher.FluxMapFuseable$MapFuseableSubscriber.onSubscribe(FluxMapFuseable.java:90) ~[reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.core.publisher.FluxIterable.subscribe(FluxIterable.java:161) ~[reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.core.publisher.FluxIterable.subscribe(FluxIterable.java:86) ~[reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.core.publisher.Flux.subscribe(Flux.java:8325) ~[reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.core.publisher.FluxConcatArray$ConcatArraySubscriber.onComplete(FluxConcatArray.java:207) ~[reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.core.publisher.FluxConcatArray.subscribe(FluxConcatArray.java:80) ~[reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.core.publisher.Mono.subscribe(Mono.java:4213) ~[reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at org.springframework.http.server.reactive.ChannelSendOperator$WriteBarrier.onNext(ChannelSendOperator.java:192) ~[spring-web-5.2.8.RELEASE.jar:5.2.8.RELEASE]
		at reactor.core.publisher.FluxMap$MapSubscriber.onNext(FluxMap.java:114) ~[reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.core.publisher.FluxBuffer$BufferExactSubscriber.onComplete(FluxBuffer.java:179) ~[reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.core.publisher.FluxMap$MapSubscriber.onComplete(FluxMap.java:136) ~[reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.core.publisher.FluxPeek$PeekSubscriber.onComplete(FluxPeek.java:252) ~[reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.core.publisher.FluxMap$MapSubscriber.onComplete(FluxMap.java:136) ~[reactor-core-3.3.9.RELEASE.jar:3.3.9.RELEASE]
		at reactor.netty.channel.FluxReceive.terminateReceiver(FluxReceive.java:445) ~[reactor-netty-0.9.11.RELEASE.jar:0.9.11.RELEASE]
		at reactor.netty.channel.FluxReceive.drainReceiver(FluxReceive.java:251) ~[reactor-netty-0.9.11.RELEASE.jar:0.9.11.RELEASE]
		at reactor.netty.channel.FluxReceive.onInboundComplete(FluxReceive.java:382) ~[reactor-netty-0.9.11.RELEASE.jar:0.9.11.RELEASE]
		at reactor.netty.channel.ChannelOperations.onInboundComplete(ChannelOperations.java:373) ~[reactor-netty-0.9.11.RELEASE.jar:0.9.11.RELEASE]
		at reactor.netty.channel.ChannelOperations.terminate(ChannelOperations.java:429) ~[reactor-netty-0.9.11.RELEASE.jar:0.9.11.RELEASE]
		at reactor.netty.http.client.HttpClientOperations.onInboundNext(HttpClientOperations.java:645) ~[reactor-netty-0.9.11.RELEASE.jar:0.9.11.RELEASE]
		at reactor.netty.channel.ChannelOperationsHandler.channelRead(ChannelOperationsHandler.java:96) ~[reactor-netty-0.9.11.RELEASE.jar:0.9.11.RELEASE]
		at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:379) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:365) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:357) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.CombinedChannelDuplexHandler$DelegatingChannelHandlerContext.fireChannelRead(CombinedChannelDuplexHandler.java:436) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.handler.codec.ByteToMessageDecoder.fireChannelRead(ByteToMessageDecoder.java:324) ~[netty-codec-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.handler.codec.ByteToMessageDecoder.channelRead(ByteToMessageDecoder.java:296) ~[netty-codec-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.CombinedChannelDuplexHandler.channelRead(CombinedChannelDuplexHandler.java:251) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:379) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:365) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:357) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.DefaultChannelPipeline$HeadContext.channelRead(DefaultChannelPipeline.java:1410) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:379) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:365) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:919) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:163) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:714) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:650) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:576) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:493) ~[netty-transport-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.util.concurrent.SingleThreadEventExecutor$4.run(SingleThreadEventExecutor.java:989) ~[netty-common-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.util.internal.ThreadExecutorMap$2.run(ThreadExecutorMap.java:74) ~[netty-common-4.1.51.Final.jar:4.1.51.Final]
		at io.netty.util.concurrent.FastThreadLocalRunnable.run(FastThreadLocalRunnable.java:30) ~[netty-common-4.1.51.Final.jar:4.1.51.Final]
		at java.lang.Thread.run(Thread.java:748) ~[na:1.8.0_202]

2022-02-19 21:50:20.768  INFO 35366 --- [ctor-http-nio-2] c.y.b.a.filter.WhiteListUrlFilter        : req method:POST,url:/template/apilog/add

  注意异常信息中

com.alibaba.csp.sentinel.adapter.spring.webflux.SentinelWebFluxFilter [DefaultWebFilterChain]
    |_ checkpoint ⇢ org.springframework.boot.actuate.metrics.web.reactive.server.MetricsWebFilter [DefaultWebFilterChain]

    因为出现异常的情况和概率完全不可控，非常随机。一开始怀疑是网关的的路由配置问题，网关参数配置问题，hystrix 或者 sentinel的问题。各种排查，均没有解决。

    经过国外一个issues 的点拨，扩展开来，怀疑到 spring-boot-starter-actuator 端点监控上来，于是通过 开放端点用于SpringBoot Admin的监控

management.endpoints.web.gateway=false 关闭监控，再次测试仍然会出现。

   为了定位，在网关中把 spring-boot-starter-actuator 全部删除和排除 ，再次重启测试，访问很稳定，没有间歇性出现500的异常。

  分析： 可能是由于 spring-boot-starter-actuator 在获取 网关上的路由配置时，会将路由信息保存在 java.util.ArrayList中，当更新时，需要清空当前路由。然而当页面访问 网关时，actuate的MetricsWebFilter  需要读取路由信息，发现是空的，所以报了 java.util.ConcurrentModificationException: null 异常，当次请求失败。

  解决办法：在网关中把 spring-boot-starter-actuator 全部删除和排除，从根本上避免出现这样的问题。          此为比较粗暴的解决方案，欢迎同行提供更好的解决办法，可与我联系：tangwwk@126.com 

                                                       2022年2月20日  23：25分

解决方案更新：

 因为需要记录response 返回的报文做为日志， 在responseFilter中重新解析和封装了 ServerHttpResponseDecorator 类，导致的间歇性500错误。

取消了这个需求后，就注释了相关的代码，发现间歇性500错误没有出现过了。

 


应该是这个原因导致的，如果您也遇到了类似的场景可以从这方面分析考虑。如果您重写了重新解析了 ServerHttpResponseDecorator 类，没有这个问题，烦请共享一下您的代码，感谢

 

   

有用的链接

https://github.com/spring-cloud/spring-cloud-sleuth/issues/1511

排查SpringCloudGateway的readAddress(..) failed: Connection reset by peer问题（利用arthas）_lsy1162526799的博客-CSDN博客

tangwwk
关注
专栏目录
使用uep出现错误：org.springframework.web.client.HttpServerErrorException: 500 null
光头迪迦
06-25 1万+
错误详情： org.springframework.web.client.HttpServerErrorException: 500 null at org.springframework.web.client.DefaultResponseErrorHandler.handleError(DefaultResponseErrorHandler.java:94) at org.sp...
org.springframework.web.client.HttpServerErrorException: 500 null
anmoudian8588的博客
05-03 2584
在使用RestTemplate 的时候，微服务没有发生错误，只是执行时间较长2018-05-03 16:57:02.916 INFO 14456 --- [o-10002-exec-11] com.dd.action.BreakDownAction : -->>>删除 信息2018-05-03 16:57:08.773 INFO 14456 --- [o-10002-e...
nacos+gateway，使用feign远程调用时出现“500 Server Error for HTTP POST”错误
yexy929的博客
12-06 1882
最近在做的SpringCloud项目，之前用的eureka，改成了nacos+gateway，在使用feign进行远程调用的时候报了500的错误。 看了下后端的报错信息，完全没有头绪。 我一开始是往feign调用失败方向查的，网上说的一些办法，大多是注解的问题，我没发现有啥错误。后来在原项目里面又新建了一个测试模块，专门给之前进行远程调用的模块提供feign的接口，发现还是报了这个错误。然后我又新建了另一个测试模块来调用之前的那个测试模块，发现成功了。然后我怀
问题：SpringCloud Gateway报500 Invalid host: lb://xxx
qq_40240611的博客
05-06 536
springCloud整合Gateway,然后在nacos中看到网关对应的服务和业务对应的服务都已经注册到nacos中了，但是调用报以下异常。再把接口的spring.application.name修改为中线service-order，问题解决。application.yml中的配置如下。application.yml中的配置如下。将以上配置的下划线改为中线，如下。将以上配置的下划线改为中线，如下。注：predicates:为断言。单独访问接口是没有问题。单独访问接口是没有问题。
springcloud zuul 500 错误
03-10 1586
经过仔细检查，全部配置映射都没问题，springboot-admin 监控中心所有服务状态全部显示绿色正常 但就是通过 zuul 访问服务提示 500错误 这个情况，一般是请求超时所致 调整请求超时时间即可 zuul服务本地报错提示：com.netflix.zuul.exception.ZuulException: Forwarding error 原始配置示例： hystrix: ...
java.util.ConcurrentModificationException 解决方法
01-10
java.util.ConcurrentModificationException 解决方法 在使用iterator.hasNext()操作迭代器的时候，如果此时迭代的对象发生改变，比如插入了新数据，或者有数据被删除。 则使用会报以下异常： Java.util....
ConcurrentModificationException: null
07-29
快速失败机制（fail-fast）是Java集合框架中的一种错误检测机制，它通过在集合被修改时立即抛出ConcurrentModificationException异常来保证数据的一致性。\[3\]这种机制可以帮助开发人员及时发现并解决多线程环境下...
请求地址'/kidInfo/table/setList',发生未知异常. java.util.ConcurrentModificationException: null
03-28
可能是在对集合进行遍历时，同时从集合中添加或删除元素，导致迭代器失效，从而抛出ConcurrentModificationException异常。 在解决该异常时，可以尝试使用线程安全的集合类，如ConcurrentHashMap、...
Springcloud GateWay里常见错误解决
qq_50909707的博客
04-21 784
gateway 常见错误总结 - 灰信网（软件开发博客聚合）
java8集合源码-zinc-ConcurrentModificationException:锌并发修改异常
06-04
java.util.ConcurrentModificationException: mutation occurred during iteration [error] scala.collection.mutable.MutationTracker$.checkMutations(MutationTracker.scala:43) [error] scala.collection....
Http客户端工具RestTemplate调用的时候报org.springframework.web.client.HttpServerErrorException: 500 null
Lancis的博客
04-19 3291
测试代码如下： @Test public void httpGet() { Users users = this.restTemplate.getForObject("http://localhost:8080/user/query/1", Users.class); System.out.println(users); } 解决：看了下控制台报错，是方法的返回值字符串和视图解析器解析的页面名字字符串冲突导致的。回去看了下controller，结果发现之前为了测试thymeleaf吧@RestCont
nacos配置&gateway配置服务发现一直报500
最新发布
weixin_55010563的博客
08-02 572
这里面尤其要注意的是StripPrefix这个参数，之前没有太注意，还弄出个404，看了些讲解才知道这个就是去掉我一开始请求的路径上的字符，如：StripPrefix=1，那么请求到服务就是backend/user/detail?因为发现项目使用的配置文件过多，有application、application-test.yml、bootstrap.yml、远程nacos配置，我想不能搞得简单些就尽量把所有配置都放到线上，本地只是做区分么，然后自己恶补了下application和bootstrap区别。
org.springframework.web.client.HttpServerErrorException$InternalServerError: 500 null
热门推荐
gm371200587的博客
05-16 2万+
本地执行没有问题，部署服务器后报错 这个错的原因：①检查使用到的服务是否都已经启动 ②使用的服务是否有需要连接外网 ...
在使用spring-cloud-gateway和nacos中遇到的ConcurrentModification异常分析
wFitting的博客
01-28 2138
在使用spring-cloud-gateway和nacos中遇到的ConcurrentModification异常分析 reactor.core.Exceptions$ErrorCallbackNotImplemented: java.util.ConcurrentModificationException Caused by: java.util.ConcurrentModificationException: null at java.util.ArrayList$Itr.checkFo
.ConcurrentModificationException: null
08-25
ConcurrentModificationException是Java中的一个异常，通常在对集合进行遍历时发生。它表示在遍历过程中，集合的结构发生了修改，导致遍历操作无法继续进行。 这个异常的原因是在使用迭代器遍历集合时，同时进行了...
SpringCloud微服务间歇性访问失败原因分析
ruo_yuan
12-26 3197
微服务间歇性访问失败原因分析
springcloud坑之 org.springframework.web.client.HttpServerErrorException$InternalServerError: 500 null
weixin_46046477的博客
08-17 1万+
springcloud坑之 org.springframework.web.client.HttpServerErrorException$InternalServerError: 500 null 今天用springcloud玩了一个微服务，一切都准备就绪，当我用消费方调用生产方的数据时，在消费方的控制台上出现了以下错误信息： org.springframework.web.client.HttpServerErrorException$InternalServerError: 500 null 于
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值