未设置超时时间导致线程池资源耗尽，排查过程

已于 2024-04-23 10:35:16 修改
阅读量9.4k 收藏 1
点赞数 14
文章标签： java
于 2024-04-10 16:57:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55229531/article/details/137601487
版权

一、错误详情：

         我使用@Scheduled注解设置了一个定时任务，每两分钟去特定的网站采集数据，但是我发现运行了一段时间以后定时任务就停止了。已经两分钟过去了，但是定时任务并没有执行。

 而且CPU和内存并没有什么异常。

二、错误排查：

一、线程日志排查法

1、先使用ps -ef | grep 应用名称 命令找到java程序的进程。

红色框部分就是应用的pid

2.然后通过 jstack -l PID > ./jstack.log 命令输出该进程下所有线程状态的文件

4.查看刚输出的jstack.log文件，查看线程详情

        因为@Scheduled的原理是在Spring启动的时候会创建一个只有一个线程的线程池，并用这个线程去执行线程任务，而且这个线程的名称通常带有schedule,我们在线程文件中寻找即可。可以发现，该线程一直处于运行状态，且停留在业务代码的57行。我们需要去看看57行代码写了什么。

 "scheduling-1" #37 prio=5 os_prio=0 tid=0x00007fe6ac4e4800 nid=0xf125 runnable [0x00007fe68f2f2000]
   java.lang.Thread.State: RUNNABLE
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
    at java.net.SocketInputStream.read(SocketInputStream.java:171)
    at java.net.SocketInputStream.read(SocketInputStream.java:141)
    at sun.security.ssl.SSLSocketInputRecord.read(SSLSocketInputRecord.java:475)
    at sun.security.ssl.SSLSocketInputRecord.readFully(SSLSocketInputRecord.java:458)
    at sun.security.ssl.SSLSocketInputRecord.decodeInputRecord(SSLSocketInputRecord.java:242)
    at sun.security.ssl.SSLSocketInputRecord.decode(SSLSocketInputRecord.java:180)
    at sun.security.ssl.SSLTransport.decode(SSLTransport.java:111)
    at sun.security.ssl.SSLSocketImpl.decode(SSLSocketImpl.java:1323)
    at sun.security.ssl.SSLSocketImpl.readApplicationRecord(SSLSocketImpl.java:1292)
    - locked <0x00000000fe9df980> (a sun.security.ssl.SSLSocketImpl)
    at sun.security.ssl.SSLSocketImpl.access$300(SSLSocketImpl.java:76)
    at sun.security.ssl.SSLSocketImpl$AppInputStream.read(SSLSocketImpl.java:948)
    at java.io.BufferedInputStream.read1(BufferedInputStream.java:284)
    at java.io.BufferedInputStream.read(BufferedInputStream.java:345)
    - locked <0x00000000feae2ab8> (a java.io.BufferedInputStream)
    at sun.net.www.http.ChunkedInputStream.fastRead(ChunkedInputStream.java:244)
    at sun.net.www.http.ChunkedInputStream.read(ChunkedInputStream.java:689)
    - locked <0x00000000feaf6bb0> (a sun.net.www.http.ChunkedInputStream)
    at java.io.FilterInputStream.read(FilterInputStream.java:133)
    at sun.net.www.protocol.http.HttpURLConnection$HttpInputStream.read(HttpURLConnection.java:3482)
    at sun.nio.cs.StreamDecoder.readBytes(StreamDecoder.java:284)
    at sun.nio.cs.StreamDecoder.implRead(StreamDecoder.java:326)
    at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:178)
    - locked <0x00000000feaf7f78> (a java.io.InputStreamReader)
    at java.io.InputStreamReader.read(InputStreamReader.java:184)
    at java.io.BufferedReader.fill(BufferedReader.java:161)
    at java.io.BufferedReader.readLine(BufferedReader.java:324)
    - locked <0x00000000feaf7f78> (a java.io.InputStreamReader)
    at java.io.BufferedReader.readLine(BufferedReader.java:389)
    at com.haiwang.hotel.task.ScheduleTask.testScheduleTask(ScheduleTask.java:57)
    at sun.reflect.GeneratedMethodAccessor8.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.springframework.scheduling.support.ScheduledMethodRunnable.run(ScheduledMethodRunnable.java:84)
    at org.springframework.scheduling.support.DelegatingErrorHandlingRunnable.run(DelegatingErrorHandlingRunnable.java:54)
    at org.springframework.scheduling.concurrent.ReschedulingRunnable.run(ReschedulingRunnable.java:95)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:750)

        可以看到第57行是一个循环读取响应的代码，服务器可能陷入了循环读取代码的陷阱。我怀疑是对方服务器不响应，导致我们这里一直无法读取。

        而且通过对调用修饰的分析发现监视器的拥有者都是和读相关的一些类，从这里也可以判断出，这个项目的读操作有问题，项目一直处于读的状态。因此需要设置读操作的超时时间。对线程日志文件的分析方法可以看这篇文章：Dump文件生成，内容，以及分析_dump文件分析-CSDN博客

 于是我加了超时时间，以防读取时间太久。

二、使用Arthas排查

1、启动 arthas

运行以下命令后会出现下面的画面：

curl -O https://arthas.aliyun.com/arthas-boot.jar

之后再运行一下命令出现对应的可以监听的应用：

java -jar arthas-boot.jar

 我们只有一个应用输入1即可，之后就会出现下面的画面

 2、查询线程状况

输入thread --all, 显示所有匹配的线程，出现下面的画面

         找到对应的线程，使用thread id命令, 显示指定线程的运行堆栈。发现该线程一直处于运行状态，且一直停留在第57行，发现了错误的罪魁祸首。

三、解决方法：

错误代码：

@Component
@Log4j2
public class ScheduleTask {

    @Autowired
    private SecondUserMapper secondUserMapper;

    @Scheduled(cron = "0 0/2 * * * ?") //定时任务注解+cron表达式
    public void testScheduleTask() throws IOException, InterruptedException {
        List<String> urlList = secondUserMapper.getRandomUrlList();
        Thread.sleep(3000);
        for (String s : urlList) {
            URL url = new URL(s);

            // 打开连接
            HttpURLConnection connection = (HttpURLConnection) url.openConnection();

            // 设置请求方法为GET
            connection.setRequestMethod("GET");
            // 添加自定义的请求头信息
            String agent = secondUserMapper.getRandomAgent();
            connection.addRequestProperty("User-Agent", agent);
            connection.addRequestProperty("Accept-Language", "en-US,en;q=0.9");

            // 获取服务器返回的状态码
            int responseCode = connection.getResponseCode();

            if (responseCode == HttpURLConnection.HTTP_OK) {
                // 读取服务器返回的数据
                BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()));

                String line;
                StringBuilder response = new StringBuilder();

                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }

                reader.close();

                System.out.println("Server Response:" + responseCode);
            } else {
                System.out.println("Error Code: " + responseCode);
            }

            // 关闭连接
            connection.disconnect();
        }
        log.info("线程名称为{},线程状态为{}",Thread.currentThread().getName(),Thread.currentThread().getState().name());

    }
}

正确代码：

增加超时时间即可

@Component
@Log4j2
public class ScheduleTask {

    @Autowired
    private SecondUserMapper secondUserMapper;

    @Scheduled(cron = "0 0/2 * * * ?") //定时任务注解+cron表达式
    public void testScheduleTask() throws IOException, InterruptedException {
        List<String> urlList = secondUserMapper.getRandomUrlList();
        Thread.sleep(3000);
        for (String s : urlList) {
            URL url = new URL(s);

            // 打开连接
            HttpURLConnection connection = (HttpURLConnection) url.openConnection();

            // 设置请求方法为GET
            connection.setRequestMethod("GET");
            connection.setConnectTimeout(100000);
            connection.setReadTimeout(100000);
            // 添加自定义的请求头信息
            String agent = secondUserMapper.getRandomAgent();
            connection.addRequestProperty("User-Agent", agent);
            connection.addRequestProperty("Accept-Language", "en-US,en;q=0.9");

            // 获取服务器返回的状态码
            int responseCode = connection.getResponseCode();

            if (responseCode == HttpURLConnection.HTTP_OK) {
                // 读取服务器返回的数据
                BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()));

                String line;
                StringBuilder response = new StringBuilder();

                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }

                reader.close();

                System.out.println("Server Response:" + responseCode);
            } else {
                System.out.println("Error Code: " + responseCode);
            }

            // 关闭连接
            connection.disconnect();
        }
        log.info("线程名称为{},线程状态为{}",Thread.currentThread().getName(),Thread.currentThread().getState().name());

    }
}

 之后定时任务就按时执行了

四、错误总结：

1、小批量的线程占用并不会对内存与CPU产生较大影响，但是却很影响业务

        例如上面的错误，只是一个线程占用而已，并没有对CPU和内存造成影响。即使我们平常用的线程池有32个线程，也不会对CPU和内存造成影响，这类错误很难察觉，一般的运维工具也无法监听出来。但是在我们的工作中线程池被占用满了就无法处理任务，在并发量大的情况下，即使占满一分钟都会对业务造成毁灭性打击，因此一定要注意。

2、不能用线程状态来判断是否被占用

        我们一般认为线程处于blocked状态的时候线程才是处于阻塞状态，但是这个状态只是对于计算机来说的。对于我们来说，只要业务不执行了，线程就是处于阻塞状态的，因此任何状态下的线程对于业务来说都是阻塞的。 我这个项目是爬虫项目，会去爬取别人网站的数据，有些网站识别爬虫之后不仅会拒绝你访问，还会通过一直不给响应使得你的服务器线程占满，进而导致你的爬虫服务器崩溃。

3、有些成熟的HTTP请求工具也是不设置超时时间的，需要注意

        类似于HttpClient,RestTemplate等HTTP请求工具的某些版本是不会自动设置超时时间的，还有一些第三方的SDK也是这样的，因此需要手动设置超时时间，否则会出现线程池耗尽的问题。

参考文章： 

CPU飙升排查及常见原因_实际项目中的cpu飙升原因排查-CSDN博客

thread | arthas

Dump文件生成，内容，以及分析_dump文件分析-CSDN博客

HttpClient,RestTemplate超时设置_resttemplate默认超时时间-CSDN博客

小海海不怕困难
关注
  • 14
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
JAVA 多线程解决高并发、超时线程池耗尽问题
柳牧之的博客
02-02 2711
java8线程池知识，多线程在执行时候存在线程会被耗尽，导致线程无法执行，百度搜到的只是给您说了怎么使用线程，但是并未考虑并发时候多线程被耗尽导致线程无法执行情况。本文档主要是解决此类场景。
@Schedule注解，多个定时任务执行时造成阻塞不能按时执行
最新发布
askuld的博客
05-28 1226
Scheduled注解任务的时候是在一个单线程中，如果有多个任务，其中一个任务执行时间过长，则有可能会导致其他后续任务被阻塞直到该任务执行完成。也就是会造成一些任务无法定时执行的错觉。源码：@Scheduled注解在注册时给定时任务生成了一个单线程的线程池（newSingleThreadScheduledExecutor()）
ThreadPoolTaskExecutor使用说明
weixin_30920091的博客
03-07 1677
当我们需要实现并发、异步等操作时，通常都会使用到ThreadPoolTaskExecutor，现对其使用稍作总结。 springboot 配置： 提交任务 无返回值的任务使用execute(Runnable) 有返回值的任务使用submit(Runnable) 处理流程 当一个任务被提交到线程池时，首先查看线程池的核心线程是否都在执行任务，否就选择一条线程执行任务...
后端服务故障排查 -- dubbo服务超时、线程池耗尽 CPU高负载
热门推荐
随风的博客
05-19 1万+
文章目录问题现象dubbo线程池耗尽的异常日志cpu占用情况问题排查dubbo线程池耗尽排查cpu 高负载排查排查相关命令排查初步定位问题场景验证，确认问题点原因分析调整后验证其他执行的一些优化点参考资料 问题现象 5-6 到 5-7，某测试环境我们的服务时常收到调用方反馈，dubbo接口超时。 查看后台的错误日志信息，以及环境监控情况。 有两个问题，一是dubbo服务通道关闭，线程池耗尽了。调用...
Dubbo线程池耗尽原理分析Thread pool is EXHAUSTED
weixin_34327223的博客
06-21 802
2019独角兽企业重金招聘Python工程师标准>>> ...
记一次线程池资源耗尽问题排查
我的便当盒
06-01 699
通过源码追踪可知，所有数据库SQL请求均被封装为HirariProxyPreparedStatement，而系统异常状态下，共计16个正在运行中的HirariProxyPreparedStatement同时存在，与JpaExecutorService线程上限一致，且所有SQL均是TdEngine的插入操作。因此，作为临时方案，可修改配置文件，增加最大线程数，并同时设置TdEngine连接池超时时间，使得线程池资源在TdEngine请求都超时的最坏情况下依然能正常工作。没错了，答案就是：资源耦合！
C#开发的线程池和管理器
01-01
例如，配置文件可能用来设置线程池的初始大小、最大线程数、超时时间等参数；日志文件则记录了线程池的操作情况，有助于排查问题。 总结来说，C#的线程池是多线程编程的一个重要工具，通过合理的使用和管理，可以...
系统稳定性——Dubbo 常见错误及解决方法1
08-03
3. **服务端线程资源耗尽：Thread pool is EXHAUSTED** Dubbo服务端默认线程池大小为200，当并发请求超过这个值时，新请求会被拒绝。解决方法包括增大服务端的`dubbo.provider.threads`参数，减小消费者端的`dubbo....
studycloud.zip
03-02
2. **线程隔离**：通过线程池隔离策略，限制每个服务的并发请求数量，防止资源耗尽。 3. **熔断逻辑**：监测服务调用的失败率和调用量，当达到预设阈值时自动开启熔断，后续请求直接返回 fallback 结果。 4. **健康...
批量检测网址状态码(多线程).zip
12-30
线程池可以有效管理线程资源，避免过多线程导致系统资源耗尽。 3. **HTTP请求**：每个线程将从URL列表中获取一个网址，然后发送一个HTTP GET请求到该地址，获取服务器返回的状态码。 4. **状态码解析**：对服务器...
开源自建_托管与商业化自研Trace，如何选择？1
08-03
2. **池化监控**：微服务和数据库的线程池经常被耗尽，可能导致服务超时，排查起来费时费力。具备池化监控的 Trace 解决方案能展示线程池的详细状态，如最大线程数、当前线程数和活跃线程数，及时预警线程池风险。 ...
java 线程耗尽_关于线程耗尽导致请求超时系统假死的思考
weixin_42510841的博客
03-02 1040
线程耗尽：我们知道java程序中，所有计算都是通过线程来执行的，同时我们为了能够重复利用线程，避免频繁创建线程而消耗资源，一般我们都使用线程池，既然是池，那就表明线程是有限的，既然是有限的就会有耗尽的时候。当我们应用中的线程耗尽了，同时所有已经持有线程的计算任务迟迟不释放线程，那就导致请求超时，系统假死。例子：最近我们又遇到了一些类似这样的问题，情况大概是这样的： 业务场景：业务1需要完成两个任务...
一次多线程耗尽优化与处理
zwrlj527的专栏
12-10 1523
序       一次自动任务开启线程执行导致的线程耗尽问题。 一、现象       出现Running pool size = xxx报错。 二、多线程集成       这个参考我之前的博文，我是采用统一的线程池配置，基于springBoot的注解@EnableAsync、@Async。这里不重复说明了。 三、多线程配置 #多线
八、线程池
余笙的博客
08-22 1130
在面向对象编程中，创建和销毁对象是很费时间的，因为创建一个对象要获取内存资源或者其他更多资源。在Java中，虚拟机将视图跟踪每一个对象，以便能够在对象销毁后进行垃圾回收。所以提高服务程序效率的一个手段就是尽可能减少创建和销毁对象的次数，特别是一些很耗费资源的对象的创建和销毁。如何利用已有对象来服务就是一个需要解决的关键问题，其实这就是一些“池化资源”技术产生的原因。
一次压测问题总结：java线程池不消费
杨宇昌的博客
08-11 419
1、 跟踪日志和业务代码没有发现任何问题，此时猜测因为某种原因导致线程异常退出。查看jstack命令输出的文件，发现线程池的消费线程一直处于阻塞状态，继续跟踪esl的源码，发现请求之后会调用get()方法获取对应的响应值，get()中有一个CountDownLatch.await() 一直在等待FreeSwitch响应，FreeSwitch正常响应的时候会执行CountDownLatch.countDown()释放锁，但是此时的FreeSwitch已经挂了，没有办法响应导致线程池的线程一直在await()
【后端面经-java】java线程池满的处理策略
weixin_44201830的博客
06-21 1707
本文对java线程池做了具体介绍，并且讨论了java线程池满了之后的拒绝策略。
dubbo线程池为什么耗尽
qq_37436172的博客
12-23 1446
大家可能都遇到过DUBBO线程池打满这个问题，报错如下，本文我们就一起分析DUBBO线程池打满这个问题。错误。
java 线程耗尽_WebLogic执行线程耗尽解决方案
weixin_34360879的博客
03-07 952
WebLogic执行线程耗尽解决方案WebLogic执行线程耗尽1.1、概述 更多WebLogic相关知识·：WebLogic线程耗尽产生的原因有多种，一般而言线程耗尽是由于线程在争夺某种资源。当一种资源处于缺少状态，比如数据库JDBC连接池的达到最大连接数，就会导致后续的业务线程都卡在等待获取JDBC的连接上，最终导致服务器无法响应后续的服务请求。1.2、常见线程耗尽原因WebLogic服务器线...
XxlJobSpringExecutor设置超时时间和线程池
05-26
XxlJobSpringExecutor是一个基于Spring框架的任务执行器，可以用来执行XXL-JOB任务。如果你想要设置超时时间和线程池，可以通过配置文件来进行设置。 1. 设置超时时间 超时时间可以通过以下配置来设置： ``` xxl.job.executor.timeout: 3000 ``` 其中，`xxl.job.executor.timeout`表示任务执行的超时时间，单位是毫秒。 2. 设置线程池 线程池可以通过以下配置来设置： ``` xxl.job.executor.thread-count: 10 ``` 其中，`xxl.job.executor.thread-count`表示任务执行器的线程池大小。 除了以上两个配置，还可以通过其他配置项来对任务执行器进行配置，具体可以参考XXL-JOB的官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小海海不怕困难

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值