How to fix hung_task_timeout_secs and blocked for more than 120 seconds problem

最新推荐文章于 2024-09-26 16:35:35 发布
原创 最新推荐文章于 2024-09-26 16:35:35 发布 · 1.1w 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了当Linux系统出现hang住现象，无法通过SSH访问但还能ping通的情况下的解决办法。核心在于调整vm.dirty_ratio和vm.dirty_background_ratio参数，并优化占用大量资源的进程。

Author：Skate
Time:2015/03/04

 

How to fix hung_task_timeout_secs and blocked for more than 120 seconds problem

 

现象：系统hang住，可以ping通，但ssh无响应

查看message log
[1379100.801689] [<ffffffff81536f95>] page_fault+0x25/0x30
[1379100.801693] INFO: task java:710923 blocked for more than 120 seconds.
[1379100.801766] Not tainted 2.6.32-042stab104.1 #1
[1379100.801835] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[1379100.801963] java D ffff8800372d7200 0 710923 709954 67084186 0x00000000
[1379100.801968] ffff880e57e71cf0 0000000000000082 ffffea00021a8fc0 ffff880e57e71c68
[1379100.801972] ffffffff81155c60 ffff8800372d7200 ffffea00021a8fc0 ffff88100c409638
[1379100.801976] 00000007fa23bffc ffff880e57e71c78 ffffffff81155cd1 ffff880e57e71ca8
[1379100.801980] Call Trace:
[1379100.801984] [<ffffffff81155c60>] ? __lru_cache_add+0x40/0x90
[1379100.801988] [<ffffffff81155cd1>] ? lru_cache_add_lru+0x21/0x40
[1379100.801992] [<ffffffff81172c9c>] ? handle_pte_fault+0x65c/0x1040
[1379100.801996] [<ffffffff81536705>] rwsem_down_failed_common+0x95/0x1d0
[1379100.802000] [<ffffffff81536896>] rwsem_down_read_failed+0x26/0x30
[1379100.802004] [<ffffffff812a6a34>] call_rwsem_down_read_failed+0x14/0x30
[1379100.802008] [<ffffffff81535d94>] ? down_read+0x24/0x30
[1379100.802011] [<ffffffff8104dffe>] __do_page_fault+0x18e/0x480
[1379100.802015] [<ffffffff8106f0c8>] ? finish_task_switch+0xc8/0x120
[1379100.802019] [<ffffffff81539c2e>] do_page_fault+0x3e/0xa0
[1379100.802022] [<ffffffff81536f95>] page_fault+0x25/0x30
Show  Vitaly Medvedev added a comment - Yesterday 10:34 PM [1379100.801682] [<ffffffff81015019>] ? read_tsc+0x9/0x20 [1379100.801685] [<ffffffff81539c2e>] do_page_fault+0x3e/0xa0 [1379100.801689] [<ffffffff81536f95>] page_fault+0x25/0x30 [1379100.801693] INFO: task java:710923 blocked for more than 120 seconds. [1379100.801766] Not tainted 2.6.32-042stab104.1 #1 [1379100.801835] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message. [1379100.801963] java D ffff8800372d7200 0 710923 709954 67084186 0x00000000 [1379100.801968] ffff880e57e71cf0 0000000000000082 ffffea00021a8fc0 ffff880e57e71c68 [1379100.801972] ffffffff81155c60 ffff8800372d7200 ffffea00021a8fc0 ffff88100c409638 [1379100.801976] 00000007fa23bffc ffff880e57e71c78 ffffffff81155cd1 ffff880e57e71ca8 [1379100.801980] Call Trace: [1379100.801984] [<ffffffff81155c60>] ? __lru_cache_add+0x40/0x90 [1379100.801988] [<ffffffff81155cd1>] ? lru_cache_add_lru+0x21/0x40 [1379100.801992] [<ffffffff81172c9c>] ? handle_pte_fault+0x65c/0x1040 [1379100.801996] [<ffffffff81536705>] rwsem_down_failed_common+0x95/0x1d0 [1379100.802000] [<ffffffff81536896>] rwsem_down_read_failed+0x26/0x30 [1379100.802004] [<ffffffff812a6a34>] call_rwsem_down_read_failed+0x14/0x30 [1379100.802008] [<ffffffff81535d94>] ? down_read+0x24/0x30 [1379100.802011] [<ffffffff8104dffe>] __do_page_fault+0x18e/0x480 [1379100.802015] [<ffffffff8106f0c8>] ? finish_task_switch+0xc8/0x120 [1379100.802019] [<ffffffff81539c2e>] do_page_fault+0x3e/0xa0 [1379100.802022] [<ffffffff81536f95>] page_fault+0x25/0x30


宿主机的load达到460左右

By default Linux uses up to 40% of the available memory for file system caching.
After this mark has been reached the file system flushes all outstanding data to
disk causing all following IOs going synchronous. For flushing out this data to
disk this there is a time limit of 120 seconds by default. In the case here the
IO subsystem is not fast enough to flush the data withing 120 seconds. As IO
subsystem responds slowly and more requests are served, System Memory gets filled
up resulting in the above error, thus serving HTTP requests.


解决方案：

1. 修改参数 vm.dirty_ratio 和 vm.dirty_backgroud_ratio 可以避免这个问题

# sysctl -w vm.dirty_ratio=10
# sysctl -w vm.dirty_background_ratio=5

立即生效：
# sysctl -p

永久修改（需要reboot生效）：
# vi /etc/sysctl.conf
vm.dirty_background_ratio = 5
vm.dirty_ratio = 10

2.找到好资源的进程，然后对其优化


参考:http://www.blackmoreops.com/2014/09/22/linux-kernel-panic-issue-fix-hung_task_timeout_secs-blocked-120-seconds-problem/


-------end-------

 

Rancher入门到精通-2.0 INFO: task blocked for more than 120 seconds.
隔壁老瓦的专栏
12-11 871
（3）INFO: taskblocked for more than 120 seconds. This is a know bug. By default Linux uses up to 40% of the available memory for file system caching. After this mark has been reached the file ...
服务器卡死，重启报错： INFO: task blocked for more than 120 seconds
萌兔兔MMQ！！
05-06 4934
问题：服务器负载很高，但是CPU利用率不高。服务器经常夯住，网站打不开，SSH连接非常不稳定，输入命令夯住。 重启服务器报错： INFO: task blocked for more than 120 seconds 问题原因： 默认情况下， Linux会最多使用40%的可用内存作为文件系统缓存。当超过这个阈值后，文件系统会把将缓存中的内存全部写入磁盘， 导致后续的IO请求都是同步的。 将缓存写入磁盘时，有一个默认120秒的超时时间。 出现上面的问题的原因是IO子系统的处理速度不够快，不能在120秒将缓存中
INFO: task ftest07:1247 blocked for more than 120 seconds 深入探索
xiezhongtian的专栏
07-04 7203
这段时间需要对操作系统做一次ltp测试，主要是跑一下压力测试探探究竟； 测试过程中出现了如下信息: INFO: task ftest07:1247 blocked for more than 120 seconds. "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message. INFO: task
linux 出错 “INFO: task xxxxxx: 634 blocked for more than 120 seconds.”的3种解决方案
热门推荐
electrocrazy的博客
02-26 4万+
1 问题描述 最近搭建的一个linux最小系统在运行到241秒时在控制台自动打印如下图信息，并且以后每隔120秒打印一次。 仔细阅读打印信息发现关键信息是“hung_task_timeout_secs”，第一次遇到这样的问题，首先百度… 通过翻看多个网友的博客，发现这是linux kernel的一个bug。大家对这个问题的解释也都比较一致，摘抄一段： By default Linux...
linux ssh login：task xxx: blocked for more than 120 seconds Tainted: G OE -t - 4.18.0-240.el8
weixin_42309053的博客
07-21 895
blocked for more than 120 seconds Tainted
系统异常报错 “echo 0 ＞ /proc/sys/kernel/hung_task_timeout_secs“ disables this message.
Ariswei的博客
09-26 1929
主机无缘无故死机，主机上服务无响应日志出现大量："echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
dmesg报INFO: task blocked for more than 120 seconds
啥都会一点
08-19 633
当超过这个阈值后，文件系统会把将缓存中的内存全部写入磁盘， 导致后续的IO请求都是同步的。将缓存写入磁盘时，有一个默认120秒的超时时间。出现上面的问题的原因是IO子系统的处理速度不够快，不能在120秒将缓存中的数据全部写入磁盘。IO系统响应缓慢，导致越来越多的请求堆积，最终系统内存全部被占用，导致系统失去响应。根据应用程序情况，对vm.dirty_ratio，vm.dirty_background_ratio两个参数进行调优设置。系统内存大，则缓冲区大，同步数据所需要的时间就越长，超时的概率就越大。
task oracle_110944_k:110944 blocked for more than 120 seconds
kevinyu998的博客
07-14 1234
2、根据mos:Linux: Node Reboots After "kernel: INFO: task ocssd.bin: blocked for more than 120 seconds." in /var/log/messages (Doc ID 1423693.1)1、首先操作 # echo 0 > /proc/sys/kernel/hung_task_timeout_secs。3、配置hugepage。
Linux长时间录像偶现INFO: task xxxApp:12004 blocked for more than 120 seconds
一只海星的主页
11-03 550
Linux长时间录像偶现INFO: task cidiVCMitBox:12004 blocked for more than 120 seconds
df命令卡死 报kernel:INFO:task df:107547 blocked for more than 120 seconds.
l434的博客
08-08 2048
主机故障报告 【现象】 CentOS 7.2 kernel 3.10 系统内执行df 命令，查看文件系统挂载，然后卡着没反应，也不能中断。 系统报nernel:INFO:task df:107547 blocked for more than 120 seconds. 【原因分析】 df 命令无法执行完成，此命令查看文件系统的挂载情况。 执行mount，显示出系统内所有挂载项: 单独执行 moun...
task java blocked_服务器卡死，重启报错： INFO: task blocked for more than 120 seconds
weixin_34378815的博客
02-17 1943
问题：服务器负载很高，但是CPU利用率不高。服务器经常夯住，网站打不开，SSH连接非常不稳定，输入命令夯住。重启服务器报错：INFO:taskblockedformorethan120seconds问题原因：默认情况下， Linux会最多使用40%的可用内存作为文件系统缓存。当超过这个阈值后，文件系统会把将缓存中的内存全部写入磁盘， 导致后续的IO请求都是同步的。将缓存写入磁盘时，有...
大数据开发过程中遇到的问题
warm_day的博客
03-01 5676
1.由于内存不够引起 在linux下执行top命令查看各进程使用内存情况 如果发现没有进程耗费太大的内存 查看空闲内存：free -m 发现空闲内存所剩无几： buffers与cached占用了将近一半的内存 什么是buffer/cache？ buffer和cache是两个在计算机技术中被用滥的名词，放在不通语境下会有不同的意义。在Linux的内存管理中，这里的buffer指L...
linux实例显示blocked,blocked for more than 120 seconds
weixin_28848795的博客
05-15 2069
在导入数据的时候，服务器突然无反应，连接不上，基本上就判定死掉了，重启服务器后查看日志如下：Mar 26 08:13:01 localhost kernel: INFO: task flush-8:0:26079 blocked for more than 120 seconds.Mar 26 08:13:01 localhost kernel: Tainted: P --------------...
【Linux】服务器卡死，重启报错： INFO: task blocked for more than 120 seconds
michaelwoshi的博客
08-22 1万+
一、问题背景 业务突然不正常，后台检查服务进程，发现es集群中有服务器节点夯住没有反应，看监控磁盘IO完全消失了。 SSH到有问题的目标服务器，无法连接，测试 目标机器的22端口却是通的，测试其他业务端口也是通的，也就是说服务器处于假死装状态了。 二、问题分析、处理办法 仔细阅读打印信息发现关键信息是“hung_task_timeout_secs”，通过搜索，发现这是linux kernel的一个bug。 大家对这个问题的解释也都比较一致，摘抄一段： By defau
blocked for more than 120 seconds 及sysctl用法
weixin_33834679的博客
08-16 1360
服务器报警，出现 blocked for more than 120 seconds. 前几天服务器发生了一次报警，显示系统负载过高,Nagios监控发生超时。等我连上去看的时候，已经收到服务器恢复正常，报警解除的短信了。 Jul 16 12:14:11 web3 kernel: INFO: task nfsd:3269 blocked for more than ...
&quot；echo 0 /proc/sys/kernel/hung_task_timeout_secs&quot； disable this message
qq_35382207的博客
01-09 928
问题现象： 问题原因：　　 　　默认情况下， Linux会最多使用40%的可用内存作为文件系统缓存。当超过这个阈值后，文件系统会把将缓存中的内存全部写入磁盘， 导致后续的IO请求都是同步的。 　　将缓存写入磁盘时，有一个默认120秒的超时时间。 出现上面的问题的原因是IO子系统的处理速度不够快，不能在120秒将缓存中的数据全部写入磁盘。 　　IO系统响应缓慢，导致越来越多的请求堆积，最终系统内存全部被占用，导致系统失去响应。 解决办法：　　 　　根据应用程序情况，对vm.dirty_ra...
linux挂在网络文件系统出现 INFO: taskblocked formorethan120 seconds 问题
qq_20240779的博客
05-15 1893
事情是这样的，这几天都在搞挂在网络文件系统，想尝鲜用了ubuntu22，将旧版本的ubuntu里面制作的文件系统复制到新的ubuntu22后，挂载文件系统总是提示INFO: taskblocked formorethan120 seconds，排查了一天结果是权限问题，通过“sudo chmod 777 文件系统”后就没有提示了。 猜测是linux运行时会有日志和IO读写，这些操作linux会线缓存到内存里，当缓存够多后就会一次性写入磁盘，平时也会定时写入磁盘，日志不能写入文件系统造成的。...
linux系统报“INFO: task java:xxx blocked for more than 120 seconds.”解决办法
Borny鼎鼎的博客
09-19 1721
系统内存大，则缓冲区大，同步数据所需要的时间就越长，超时的概率就越大。vm.dirty_ratio则指定了当文件系统缓存脏页数量达到系统内存百分之多少时（如10%），系统不得不开始处理缓存脏页（因为此时脏页数量已经比较多，为了避免数据丢失需要将一定脏页刷入外存），在此过程中很多应用进程可能会因为系统转而处理文件IO而阻塞。vm.dirty_background_ratio指定当文件系统缓存脏页数量达到系统内存百分之多少时（如5%）就会触发后台回写进程运行，将一定缓存的脏页异步地刷入外存。
linux实例显示blocked,ECS Linux系统出现blocked for more than 120 seconds和hung_task_timeout_secs的解决方法...
weixin_31845243的博客
05-15 4628
ECS Linux系统无响应。 在/var/log/message日志中出现大量的 “blocked for more than 120 seconds”和“echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.” 的错误。如下图所示：问题原因：默认情况下， Linux最多会使用40%的可用内存作为文件...
"echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message
最新发布
11-25
<think> 首先，用户的问题是：“我想了解命令 'echo 0 > /proc/sys/kernel/hung_task_timeout_secs' 禁用的消息相关信息”。具体来说，用户想知道“命令 'echo 0 > /proc/sys/kernel/hung_task_timeout_secs' 禁用的消息是什么”。 从系统级指令中，我需要： - 所有行内数学表达式使用 $...$ 格式。 - 独立公式使用 $$...$$ 格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识，例如 [^1]。 - 回答结构清晰，逐步解决问题，保证真实可靠。 用户提供了多个引用： - 引用[1] 提到日志中出现大量 "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.。 - 引用[2] 显示了具体的日志输出，包括 "INFO: task jbd2/dm-1-8:1362 blocked for more than 120 seconds." 和 "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.。 - 引用[3] 和 [4] 讨论了脏数据和页高速缓存（cache），导致写操作延迟。 - 引用[5] 解释了 vm.dirty_background_ratio 和 vm.dirty_ratio，这些与脏页回写有关。 用户的问题核心是：命令 'echo 0 > /proc/sys/kernel/hung_task_timeout_secs' 禁用的消息是什么？ 从引用中，我可以推断： - 这个命令是用来禁用关于“hung task”的警告消息的。 - 在引用[2]中，日志显示 "INFO: task jbd2/dm-1-8:1362 blocked for more than 120 seconds."，然后提示 "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message。 - 所以，禁用的消息是内核关于任务阻塞超时的警告，具体是当任务在120秒（默认超时时间）内没有调度时，内核会打印警告消息。设置 hung_task_timeout_secs 为0 禁用这个警告。 背景知识： - /proc/sys/kernel/hung_task_timeout_secs 是一个内核参数，用于设置任务被认定为“hung”（挂起）的超时时间（秒）。默认值通常是120秒。 - 如果任务在指定的时间内没有调度，内核会打印警告消息到日志。 - 设置这个值为0，会禁用这种警告消息。 因此，禁用的消息是内核关于任务阻塞超时的警告，具体是类似于 "INFO: task [task name] blocked for more than [timeout] seconds." 的消息。 现在，构建回答： 1. **结构清晰**：逐步解释。 - 先介绍 hung_task_timeout_secs 是什么。 - 解释默认行为：当任务阻塞超时时打印警告。 - 解释命令的作用：设置超时为0，禁用警告。 - 最后，说明禁用的具体消息内容。 2. **使用中文**：整个回答用中文。 3. **引用**：在相关部分末尾添加引用标识。例如，引用[2]提供了日志示例。 4. **生成相关问题**：在最后添加相关问题。 5. **LaTeX格式**：如果有数学表达式，使用指定格式。但在这个问题中，可能没有数学表达式，不需要使用。 回答大纲： 1. **介绍 hung_task_timeout_secs**： - 解释这个内核参数的作用：设置任务被认定为挂起的超时时间。 - 默认值通常为120秒。 2. **解释禁用的消息**： - 当任务阻塞超过这个超时时间时，内核会打印警告消息，如 "INFO: task [task name] blocked for more than [timeout] seconds."。 - 命令 'echo 0 > /proc/sys/kernel/hung_task_timeout_secs' 设置超时为0，从而禁用这些警告消息。 3. **引用支持**： - 引用[2]中的日志示例支持这一点。 4. **相关背景**： - 从引用[3][4][5]，问题可能与脏数据和IO瓶颈有关，但用户焦点是禁用的消息本身。 - 可以简要提及可能的原因，如磁盘IO问题导致任务阻塞。 5. **生成相关问题**： - 基于主题，生成3个相关问题。 最终回答结构： - 开头直接回答问题。 - 分步解释。 - 结尾添加相关问题。 </think> ### 命令 'echo 0 > /proc/sys/kernel/hung_task_timeout_secs' 禁用的消息详解 命令 `echo 0 > /proc/sys/kernel/hung_task_timeout_secs` 禁用的消息是 Linux 内核在检测到任务（进程）阻塞超时时打印的警告信息。具体来说，当系统中某个任务在指定的超时时间内（默认为 120 秒）未能被调度或响应时，内核会记录一条警告消息到系统日志（如 `/var/log/messages`），提示管理员可能存在任务“挂起”（hung）的问题。设置 `hung_task_timeout_secs` 为 0 会完全禁用这种警告消息的生成和输出。下面我将逐步解释该消息的具体内容、命令的作用机制以及相关背景。 #### 1. **禁用的消息具体内容** - 当 `hung_task_timeout_secs` 设置为默认值（如 120 秒）时，如果任务阻塞超过这个时间，内核会在日志中打印类似以下格式的警告消息： ``` INFO: task [任务名称]:[PID] blocked for more than [超时时间] seconds. "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message. ``` 例如，在引用[2]的日志中，您可以看到： ``` Mar 14 15:07:14 localhost kernel: INFO: task jbd2/dm-1-8:1362 blocked for more than 120 seconds. Mar 14 15:08:32 localhost kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message. ``` 这条消息包括： - `INFO: task ... blocked for more than ... seconds.`：表示检测到任务（如 `jbd2/dm-1-8:1362`）已阻塞超过设定超时时间（120 秒）。 - 后续提示 `"echo 0 > ... disables this message."`：指示如何禁用该警告。 - 设置 `hung_task_timeout_secs=0` 后，此类消息将不再出现，但内核仍会监控任务状态，只是不再打印日志警告[^2]。 #### 2. **命令的作用机制** - **`hung_task_timeout_secs` 参数的作用**： - 这是一个 Linux 内核参数（位于 `/proc/sys/kernel/` 目录），用于定义任务被认定为“挂起”的超时阈值（单位：秒）。 - 默认值通常为 120 秒（即 2 分钟）。如果任务在此时长内未主动让出 CPU（例如，由于死锁、I/O 瓶颈或磁盘延迟），内核会触发警告。 - 警告消息的目的是帮助诊断系统性能问题，但频繁打印可能会淹没日志文件（如引用[1]所述的大量日志输出）。 - **设置值为 0 的效果**： - `echo 0 > /proc/sys/kernel/hung_task_timeout_secs` 将超时时间设为 0 秒。 - 这告诉内核不再检测任务阻塞超时，从而禁用所有相关警告消息。但请注意： - 任务阻塞问题本身并未解决，只是日志输出被抑制。 - 在调试时，建议恢复默认值（如 `echo 120 > ...`）以捕获问题。 - 该设置是临时的（重启后失效）；要永久生效，需修改 `/etc/sysctl.conf` 文件。 #### 3. **为什么会出现这种消息及相关背景** - **常见原因**： - 任务阻塞通常由 I/O 瓶颈引起，如磁盘读写延迟。在引用[3][4][5]中，提到这与 Linux 的“脏数据”（dirty data）机制有关： - Linux 使用页高速缓存（page cache）优化写操作，将数据暂存于内存（称为“脏页”），再异步刷入磁盘。 - 如果脏页累积过多（例如，由于高负载或慢速磁盘），内核的 flush 进程（如 `pdflush`）可能无法及时处理，导致任务在等待 I/O 时阻塞。 - 相关参数如 `vm.dirty_background_ratio`（后台回写阈值）和 `vm.dirty_ratio`（同步回写阈值）控制脏页行为，如果配置不当，会加剧阻塞[^5]。 - 其他原因包括死锁、资源竞争或内核 bug。 - **潜在风险**： - 禁用警告消息可能掩盖严重问题。例如，在引用[2]中，任务 `jbd2/dm-1-8`（与磁盘日志相关）阻塞，可能表示磁盘故障或文件系统错误。 - 建议先分析根本原因（如使用 `iostat` 监控 I/O，或检查 `dmesg` 日志），而不是直接禁用消息。 总之，命令 `echo 0 > /proc/sys/kernel/hung_task_timeout_secs` 禁用的消息是内核关于任务阻塞超时的警告（具体格式如上述日志示例）。这主要用于减少日志噪音，但应谨慎使用，以避免忽略潜在的系统问题[^1][^2][^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值