记一次线上问题的排查过程

最新推荐文章于 2024-08-05 14:34:18 发布
最新推荐文章于 2024-08-05 14:34:18 发布
阅读量2.2k 收藏 2
点赞数
分类专栏： Spring 文章标签： 异常 spring上下文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoduanayu/article/details/78245103
版权

问题描述

前不久运维在例行发布线上CS系统的时候，发现在服务启动的过程中，后台一直在报如下错误，同时导致用户页面访问异常

2017-10-10 18:28:51,077 [ERROR] org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$AsyncMessageProcessingConsumer.run(SimpleMessageListenerContainer.java:1289)
Consumer thread error, thread abort.

java.lang.ExceptionInInitializerError
    at com.jolly.service.process.impl.ProcessServiceImpl.returnedOrderProcessHandle(ProcessServiceImpl.java:2574)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.springframework.aop.support.AopUtils.invokeJoinpointUsingReflection(AopUtils.java:317)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.invokeJoinpoint(ReflectiveMethodInvocation.java:183)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:150)
    at org.springframework.transaction.interceptor.TransactionInterceptor$1.proceedWithInvocation(TransactionInterceptor.java:96)
    at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:260)
    at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:94)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
    at org.springframework.transaction.interceptor.TransactionInterceptor$1.proceedWithInvocation(TransactionInterceptor.java:96)
    at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:260)
    at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:94)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
    at org.springframework.transaction.interceptor.TransactionInterceptor$1.proceedWithInvocation(TransactionInterceptor.java:96)
    at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:260)
    at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:94)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
    at org.springframework.aop.interceptor.ExposeInvocationInterceptor.invoke(ExposeInvocationInterceptor.java:91)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
    at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:204)
    at com.sun.proxy.$Proxy19.returnedOrderProcessHandle(Unknown Source)
    at com.jolly.mq.listen.oms.OrderReturnProcessListener.processMessage(OrderReturnProcessListener.java:44)
    at com.jolly.mq.listen.BaseListener.onMessage(BaseListener.java:32)
    at org.springframework.amqp.rabbit.listener.adapter.MessageListenerAdapter.onMessage(MessageListenerAdapter.java:273)
    at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.doInvokeListener(AbstractMessageListenerContainer.java:757)
    at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.invokeListener(AbstractMessageListenerContainer.java:680)
    at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.access$001(SimpleMessageListenerContainer.java:93)
    at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$1.invokeListener(SimpleMessageListenerContainer.java:183)
    at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.invokeListener(SimpleMessageListenerContainer.java:1358)
    at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.executeListener(AbstractMessageListenerContainer.java:661)
    at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.doReceiveAndExecute(SimpleMessageListenerContainer.java:1102)
    at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.receiveAndExecute(SimpleMessageListenerContainer.java:1086)
    at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.access$1100(SimpleMessageListenerContainer.java:93)
    at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$AsyncMessageProcessingConsumer.run(SimpleMessageListenerContainer.java:1203)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.NullPointerException
    at com.jolly.util.SpringMvcUtil.getBean(SpringMvcUtil.java:21)
    at com.jolly.util.common.UserUtils.<clinit>(UserUtils.java:42)
    ... 38 more
2017-10-10 18:28:51,100 [ERROR] org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$AsyncMessageProcessingConsumer.run(SimpleMessageListenerContainer.java:1322)
Stopping container from aborted consumer

2017-10-10 18:29:24,575 [WARN] org.springframework.web.servlet.DispatcherServlet.noHandlerFound(DispatcherServlet.java:1108)
No mapping found for HTTP request with URI [/GPlatform_v2/home] in DispatcherServlet with name 'mvc-dispatcher'

2017-10-10 18:29:29,049 [WARN] org.springframework.web.servlet.DispatcherServlet.noHandlerFound(DispatcherServlet.java:1108)
No mapping found for HTTP request with URI [/GPlatform_v2/aaaa] in DispatcherServlet with name 'mvc-dispatcher'

2017-10-10 18:29:30,106 [WARN] org.springframework.web.servlet.DispatcherServlet.noHandlerFound(DispatcherServlet.java:1108)
No mapping found for HTTP request with URI [/GPlatform_v2/aaaa] in DispatcherServlet with name 'mvc-dispatcher'

2017-10-10 18:29:31,037 [WARN] org.springframework.web.servlet.DispatcherServlet.noHandlerFound(DispatcherServlet.java:1108)
No mapping found for HTTP request with URI [/GPlatform_v2/aaaa] in DispatcherServlet with name 'mvc-dispatcher'

2017-10-10 18:29:31,793 [WARN] org.springframework.web.servlet.DispatcherServlet.noHandlerFound(DispatcherServlet.java:1108)
No mapping found for HTTP request with URI [/GPlatform_v2/aaaa] in DispatcherServlet with name 'mvc-dispatcher'

2017-10-10 18:29:43,791 [ERROR] com.jolly.common.template.ServiceTemplateImpl.executeWithoutTransaction(ServiceTemplateImpl.java:68)
System error

java.lang.NoClassDefFoundError: Could not initialize class com.jolly.util.common.UserUtils
    at com.jolly.service.process.impl.ProcessServiceImpl.saveProcess(ProcessServiceImpl.java:1069)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.springframework.aop.support.AopUtils.invokeJoinpointUsingReflection(AopUtils.java:317)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.invokeJoinpoint(ReflectiveMethodInvocation.java:183)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:150)
    at org.springframework.transaction.interceptor.TransactionInterceptor$1.proceedWithInvocation(TransactionInterceptor.java:96)
    at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:260)
    at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:94)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
    at org.springframework.transaction.interceptor.TransactionInterceptor$1.proceedWithInvocation(TransactionInterceptor.java:96)
    at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:260)
    at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:94)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
    at org.springframework.transaction.interceptor.TransactionInterceptor$1.proceedWithInvocation(TransactionInterceptor.java:96)
    at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:260)
    at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:94)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
    at org.springframework.aop.interceptor.ExposeInvocationInterceptor.invoke(ExposeInvocationInterceptor.java:91)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
    at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:204)
    at com.sun.proxy.$Proxy19.saveProcess(Unknown Source)
    at com.jolly.controller.process.ProcessCSController$7.executeService(ProcessCSController.java:530)
    at com.jolly.common.template.ServiceTemplateImpl.executeWithoutTransaction(ServiceTemplateImpl.java:48)
    at com.jolly.controller.process.ProcessCSController.saveProcess(ProcessCSController.java:525)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.springframework.web.method.support.InvocableHandlerMethod.invoke(InvocableHandlerMethod.java:219)
    at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:132)
    at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:104)
    at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandleMethod(RequestMappingHandlerAdapter.java:745)
    at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:686)
    at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:80)
    at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:925)
    at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:856)
    at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:936)
    at org.springframework.web.servlet.FrameworkServlet.doPost(FrameworkServlet.java:838)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:650)
    at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:812)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:731)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:303)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)
    at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)
    at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:88)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)
    at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:220)
    at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:122)
    at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:505)
    at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:170)
    at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:103)
    at org.apache.catalina.valves.AccessLogValve.invoke(AccessLogValve.java:956)
    at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:116)
    at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:423)
    at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1079)
    at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:625)
    at org.apache.tomcat.util.net.AprEndpoint$SocketWithOptionsProcessor.run(AprEndpoint.java:2459)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
    at java.lang.Thread.run(Thread.java:745)

经了解，当天CS系统没有做什么特别的修改，而之前都发布正常。于是通过日志中的两个异常java.lang.ExceptionInInitializerError和java.lang.NoClassDefFoundError: Could not initialize class com.jolly.util.common.UserUtils的异常栈推测问题可能出在UserUtils工具类的初始化过程中。

排查过程

根据异常栈，异常发生的入口在mq消费的过程中（项目中使用了rabbitmq），通过跟踪项目代码，其中一个mq listener中确实调用了UserUtils工具类中的静态方法，之前发布都没有报错是因为在发布的时候监听的队列里面没有待消费的消息，而这一次在服务发布之前队列里面就已经累积了很多消息。那为什么这次UserUtils会初始化异常而之前都不会呢？

通过对项目整体的了解，项目中使用了两个spring上下文，根上下文和mvc上下文。其中mq消费监听配置是在根上下文中，UserUtils工具类中有个静态变量使用了SpringMvcUtil来获取mvc上下文中的A对象实例，如下

package cn.cjc.share.util;

import org.springframework.beans.BeansException;
import org.springframework.context.ApplicationContext;
import org.springframework.context.ApplicationContextAware;

/**
 * @author chenjc
 * @since 2017-10-14
 */
public class SpringMvcUtil implements ApplicationContextAware {

    private static ApplicationContext applicationContext;

    @Override
    public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
        System.out.println("SpringMvcUtil.setApplicationContext方法调用，当前线程：" + Thread.currentThread().getName());
        SpringMvcUtil.applicationContext = applicationContext;
    }

    public static <T> T getBean(Class<T> clazz) {
        return applicationContext.getBean(clazz);
    }
}

UserUtils静态变量如下

private static UserComponent userComponent = SpringMvcUtil.getBean(UserComponent.class);

其中SpringMvcUtil和UserComponent（简称A对象）都被配置在mvc上下文中，当服务启动的过程中，先是初始化根上下文，然后异步执行mq消息消费，接着再初始化mvc上下文，由于mq的消费和mvc上下文的初始化过程是并发进行的，那么就有可能在mq消费时调用UserUtils类的过程中，mvc上下文还没有初始化完成，SpringMvcUtil实例还没有被注入applicationContext，导致初始化UserUtils静态变量时报空指针异常，进而导致UserUtils加载到JVM失败，报java.lang.ExceptionInInitializerError，当再次使用UserUtils类时，就直接报java.lang.NoClassDefFoundError了。用户页面访问时也是直接抛出了类定义找不到错误，因为CS系统首页使用到了UserUtils类。

解决方案（三者取其一即可）

  • 将mq消费监听配置文件放入到mvc上下文中。
  • 将UserUtils引用的A对象配置到根上下文中，然后使用根上下文工具类SpringUtil去获取。
  • 项目中不要配置两个spring上下文，只需要配置mvc上下文即可。

经验总结

之前发布的时候一直没问题是因为都是在mvc上下文初始化完成后才使用到了UserUtils类，所以尽量避免在根上下文的对象实例中使用mvc上下文中的对象，同时项目能用一个上下文最好使用一个。

样例程序

为了简化问题，我写了个demo程序，先使用MessageProducerTest类来生产消息到rabbitmq服务器，然后再启动服务，即可重现错误。

下载程序

尐葮阿譽
关注
专栏目录
记一次线上环境排查错误过程
lt_xiaodou的博客
09-14 530
在一些耗时的多步操作中,我们可以使用多线程进行分线处理,执行效率会得到优化,但是需要注意的是线程的创建和释放问题,要多考虑意外情况,不要让程序线程死锁,等待的问题.1.8jdk也开放了CompletableFuture工具类,也可实现这种异步然后归并的操作,处理比计数器的方式更加友好.生产环境上的BUG排查是一个耐心的过程,我们要通过一点点的线索去解锁这个问题的根源,所以出现生产环境问题,最好是有备选服务器支撑服务,然后再通过监控,日志等手段去排查.
记一次线上oom排查过程
装睡的小5郎的博客
03-17 232
我们服务器的jvm配置是-xms 128m -xmx4096m，当时我们查看机器的可用内存已经只有1g了（当然这里也有问题），于是判断是xms设置的太小了，xms是jvm初始堆内存，刚开始只有128m的大小，后来随着对象越来越多，jvm会进行扩容，但是扩容到1g大小的时候，服务器资源就不够了，于是开始fullgc清理垃圾，经过几次fullgc也没有回收足够的空间，所以导致了oom。我们查看了oom的报错是overhead limit exceeded，即gc超过一定次数，没有回收出足够的垃圾导致的。
MQ报错Waiting for workers to finish.Stopping container from aborted consumer.Successfully waited for w...
zuixiaoyao_001的博客
04-27 3489
2020-04-27 11:34:37.312 [SimpleAsyncTaskExecutor-37] ERROR org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer - Consumer received fatal exception during processingorg.springf...
RabbitMQ异常重启，部分消费队列不消费问题
我的博客
07-28 1091
可以监听ListenerContainerConsumerFailedEvent事件，其定义如下所示：其中有一个属性fatal，fatal为true时表示消费者出现了致命的错误，此时消费者不会自动重试进行重新启动，需要我们在事件处理逻辑中进行重启。当fatal为false时，我们可以忽略该事件，消费者容器中会自动重试启动。处理逻辑代码：判断event的fatal是true时，先判断container是否在运行，如果没有在运行则调用start进行启动，然后发送告警信息。
重启rabbitmq后，队列中没有消费者的原因
最新发布
Java后端技术栈
08-05 176
重启rabbitmq后，队列中没有消费者的原因。
6.RabbitMQ实战 --- 从故障中恢复
enlyhua的专栏
03-12 494
1. 2.
RabbitMQ日常爬坑分享
林老师带你学编程
06-08 1532
现在好多项目都需要进行微服务化，所以就需要将传统的ssm项目转化为springboot项目，今天就给大家分享一下：我在RabbitMQ改造时，遇到的坑。 坑一：消息队列无法创建坑： 代码里面明明写了MQ队列如果不存在，就会新建一个消息队列，但是实际却没有任何效果。 @Bean public Queue amzRealTimeOrderSuccess() { ...
RabbitMQ 启动报错 Failed to check/redeclare auto-delete queue(s) access to vhost '/' refused for user
流浪的喵的博客
10-12 1万+
RabbitMQ 启动报错 Failed to check/redeclare auto-delete queue(s). access to vhost ‘/’ refused for user ‘rabbit’ 今天项目在新的服务器上启动，所有的配置文件没变，安装完rabbitmq配置好以后，启动服务 服务器配置都是一样的，网络也没问题 结果发现报错了 Failed to check/red...
【案例】记一次线上内存报警排查过程1
08-03
在这个案例中，主要涉及的是线上服务的内存管理与问题排查，特别是针对Java应用程序的内存报警。以下是相关的知识点： 1. **内存报警**：当服务器的内存使用率超过一定阈值时，系统会发送报警，提示可能存在内存...
6到飞起Arthas——记一次线上问题排查及调优
qiubboy的博客
05-21 702
Arthas是Alibaba开源的Java诊断工具，通过Java agent机制 attach到ava进程上，使用ASM技术对需要诊断的类进行字节码修改。（详细原理及用法参照官方文档https://arthas.aliyun.com/doc/en/） 线上诊断神器Arthas，强烈安利一波。好嘞，切回本次重点，记一次线上调优： 背景： 公司自研的服务治理框架，sdk客户端在向控制中心寻址时，经常会出现寻址超时的情况（sdk客户端设置超时时间为3s）。虽然客户端会每5S会发送一次寻址请求，且请求到..
线上问题排查实例分析｜数据库的死锁问题排查过程
Fong灵
11-28 683
记一次线上数据库的死锁问题排查过程
问题重现--share.zip
10-15
重现线上问题的简单样例程序，使用java语言开发，方便使用者理解
rabbitmq容器在运行中会根据异常等级（Fatal）认为不可恢复
Leon_Jinhai_Sun的博客
10-09 2233
spring amqp rabbitmq容器在运行中会根据异常等级（Fatal）认为不可恢复，重试后会关闭。本文分享导致关闭的一个场景，以及如何配置来恢复连接。 异常日志 异常日志 Cancel received for? *** Consumer raised exception, processing can restart if the connection factory supports it. Exception summary: org.springframework.amqp.rab
org.springframework.amqp.rabbit.support.ListenerExecutionFailedException: Listener threw exception
wrr2001的博客
07-27 682
在调用sender下面的sendMassage()时就报这个,org.springframework.amqp.rabbit.support.ListenerExecutionFailedException: Listener threw exception错误,输出codePath为null(这个问题是我在写项目的时候遇到的,现在还是一名大三学生!如果有遇到这个情况的小伙伴,可以试一下,如果有编程大佬有更好的思路的话,可以指教一下,我必定虚心学习.:我的解决方法是(我这个rabbitmq没有学的太精,
stackoverflow error导致rabbitmq消费端自动断开
weixin_30419799的博客
03-28 474
现象：自营的码单信息是通过mq异步从wms拉取，但是码单队列经常会出现消息积压或者消息未确认的情况，rabbitmq页面显示无消费端，多次重启应用消费端才连上mq 分析： 1，一开始以为是应用没连上，重启多次后暂时问题解决 2，但是基本隔一段时间就会又出现消费端连不上，怀疑是mq配置问题，检查配置得知，此队列是自动确认，改为手动确认，但是消息积压，消费端断掉的情况还是会出现 3，怀疑是mq...
通过rabbitmq向mq中发送消息
天使的心跳
07-01 5304
之前一直有问题，终于找到了正确的pubish message的方法，如下图 需要设置propeties属性 content_encoding=UTF-8 content_type=text/plain 如果不加上面这两个属性，则报如下的错误： 17:55:32.657 [SimpleAsyncTaskExecutor-500] WARN org.springframework.a
RabbitMQ异常监控及动态控制队列消费的解决方案
热门推荐
wxyh的博客
04-05 2万+
最近，随着系统的上线，在RabbitMQ的使用上遇到了一些问题，现将其分析总结及对应的解决方法分享出来，以便大家借鉴参考。如有不对的地方欢迎指正交流。 1.遇到的问题 (1)某个消费者线程因内存溢出而挂掉，造成对应的队列没有消费者，消息在MQ Server堆积，而系统缺少对该类异常的监控，无法及时有效的进行处理。 (2)在一些业务场景，消息的消费速度远低于生产速度，造成大量消息堆积在MQ...
spring boot 集成 rabbitmq
提莫队长的博客
07-03 976
项目GitHub地址 ：https://github.com/FrameReserve/TrainingBootSpring Boot （十三）集成RabbitMQ，标记地址：https://github.com/FrameReserve/TrainingBoot/releases/tag/0.1.0pom.xml&lt;!-- Rabbit MQ --&gt; &lt;depend...
记一次线上tomcat worker线程在一个流量高峰后居高不下的问题及排查解决过程
12-07
在一个流量高峰期间，我们的网站开始出现了性能问题，特别是Tomcat的worker线程居高不下。这个问题对我们的系统稳定性和用户体验产生了严重影响，因此我们立即进行了排查和解决。 首先，我们使用工具监控了Tomcat的worker线程数，发现在高峰期间线程数增长过快，并且没有下降的趋势。接下来，我们对服务器进行了资源监控，发现CPU和内存的使用率都没有超过正常范围。这表明问题不是由于服务器资源不足导致的。 然后，我们查看了Tomcat的日志文件，发现一些异常错误信息与数据库连接相关。我们怀疑是数据库连接池的问题，因此我们进一步检查了数据库的连接数和连接池的配置。经过对比分析，我们发现数据库连接池的最大连接数被设置得过小，导致在高流量时无法满足请求的需求。我们立即调整了连接池的配置，增加了最大连接数，以应对高峰期的负载。 随后，我们重启了Tomcat，并观察了一段时间。我们发现线程数在高峰期开始时仍然有所增长，但是随着时间的推移开始逐渐下降，最终稳定在一个正常的范围内。这表明我们的排查和解决措施是有效的。 为了进一步确保问题的解决，我们还增加了日志监控和报警机制，以便更及时地发现和解决类似问题。 通过这次经历，我们学到了对于高并发流量情况下的线上问题，需要全面考虑不同组件的性能和配置，并对各个环节进行监控和调整。同时，日志分析和排查是至关重要的工作，能够帮助我们准确定位问题并采取合适的解决措施，最终提升系统的稳定性和性能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值