这里其实有一个前提忘记讲到：
这个告警是凌晨三点发出的邮件，但并没有电话提醒之类的，所以大家都不知道。
到了早上上班时才发现并立即 dump 了上面的证据。
所有有一个很重要的事实：这几个业务线程在查询 HashSet 的时候运行了 6 7 个小时都没有返回。
通过之前的监控曲线图也可以看出：
操作系统在之前一直处于高负载中，直到我们早上看到报警重启之后才降低。
同时发现这个应用生产上运行的是 JDK1.7 ，所以我初步认为应该是在查询 key 的时候进入了 HashMap 的环形链表导致 CPU 高负载同时也进入了死循环。
为了验证这个问题再次 review 了代码。
整理之后的伪代码如下：
//线程池
private ExecutorService executor;
private Set set = new hashSet();
private void execute(){
while(true){
//从 MQ 中获取数据
String key = subMQ();
executor.excute(new Worker(key)) ;
}
}
public class Worker extends Thread{
private String key ;
public Worker(String key){
this.key = key;
}
@Override
private void run(){
if(!set.contains(key)){
//数据库查询
if(queryDB(key)){
set.add(key);
return;
}
}
//达到某种条件时清空 set
if(flag){
set = null ;
}
}
}
复制代码
大致的流程如下：
-
源源不断的从 MQ 中获取数据。
-
将数据丢到业务线程池中。
-
判断数据是否已经写入了
Set。 -
没有则查询数据库。
-
之后写入到
Set中。
这里有一个很明显的问题，那就是作为共享资源的 Set 并没有做任何的同步处理。
这里会有多个线程并发的操作，由于 HashSet 其实本质上就是 HashMap，所以它肯定是线程不安全的，所以会出现两个问题：
-
Set 中的数据在并发写入时被覆盖导致数据不准确。
-
会在扩容的时候形成环形链表。
第一个问题相对于第二个还能接受。
通过上文的内存分析我们已经知道这个 set 中的数据已经不少了。同时由于初始化时并没有指定大小，仅仅只是默认值，所以在大量的并发写入时候会导致频繁的扩容，而在 1.7 的条件下又可能会形成环形链表。
不巧的是代码中也有查询操作（contains()）,观察上文的堆栈情况：
发现是运行在 HashMap 的 465 行，来看看 1.7 中那里具体在做什么：
已经很明显了。这里在遍历链表，同时由于形成了环形链表导致这个 e.next 永远不为空，所以这个循环也不会退出了。
到这里其实已经找到问题了，但还有一个疑问是为什么线程池里的任务队列会越堆越多。我第一直觉是任务执行太慢导致的。
仔细查看了代码发现只有一个地方可能会慢：也就是有一个数据库的查询。
把这个 SQL 拿到生产环境执行发现确实不快，查看索引发现都有命中。
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注Java）
最后希望可以帮助到大家！
千千万万要记得：多刷题！！多刷题！！
之前算法是我的硬伤，后面硬啃了好长一段时间才补回来，算法才是程序员的灵魂！！！！
篇幅有限，以下只能截图分享部分的资源！！
（1）多线程（这里以多线程为代表，其实整理了一本JAVA核心架构笔记集）
（2）刷的算法题（还有左神的算法笔记）
（3）面经+真题解析+对应的相关笔记（很全面）
（4）视频学习（部分）
ps：当你觉得学不进或者累了的时候，视频是个不错的选择
在这里，最后只一句话：祝大家offer拿到手软！！
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
1712694104347)]
（4）视频学习（部分）
ps：当你觉得学不进或者累了的时候，视频是个不错的选择
在这里，最后只一句话：祝大家offer拿到手软！！
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-hlumHgDG-1712694104347)]
833
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
