记录一次MQ内存使用率达到最高导致用户线程阻塞的问题

周一上班检查MQ控制台时发现，首页中memory percent used使用率达到70（配置的最大为70%），从Queues的tab页看，很多消息开始堆积，使用jmap dump出堆转储快照后，重启服务。
使用MAT工具分析heap.hprof，发现其中的org.apache.activemq.broker.region.DurableTopicSubscription占了内存的约四分之一，堆积消息org.apache.activemq.command.ActiveMQTextMessage占用了内存的约二分之一。持久化订阅者主要是某T系统服务，该系统其实业务量不大，之所以消息数量剧增，是因为近期需求调整，同事处理逻辑有问题，导致非该系统业务数据也发不到了该主题，而T系统订阅者服务经常出现各种内部处理问题，导致消息堆积，并且一直无法释放，堆积到了老年代，导致MQ服务频繁进行FULL GC，耗尽了内存，阻塞了用户线程。