问题现象:当前集群跑hadoop的时候,,任务失败,但是跑任务的容器没有正常退出,显示一大堆的YarcChild进程,,more /proc/进程/status 查看其状态,进程为D(disk sleep),当使用ps 查看所有D进程状态的时候,执行ps这个命令的进程也变成了D状态,,尬的一批。所谓D状态就是不可中断的状态,处于该状态下的进程不接受任何发给他的信号,通常导致该情况产生的原因是由于长时间等待IO导致的,一般的处理方法是reboot,但是生成环境服务器,还是大量的机器有处于D状态的进程,,进行reboot是不可取的。
1、在Linux下创建一个killd.c文件,该文件的信息如下:
#include
#include /*Needed by all modules*/
#include
#include //for_each_process
MODULE_LICENSE("BSD");
static int pid = -1;
module_param(pid, int, S_IRUGO);
static int killd_init(void)
{
struct task_struct * p;
printk(KERN_ALERT "killd: force D status process to death/n");
printk(KERN_ALERT "killd: pid=%d/n", pid);
//read_lock(&tasklist_lock);
for_each_process(p){
if(p->pid == pid){
printk("killd: found/n");
set_task_state(p, TASK_STOPPED);
printk(KERN_ALERT "killd: aha, dead already/n");
return 0;
}
}
printk("not found");
//read_unlock(&tasklist_lock);
return 0;
}
static void killd_exit(void)
{
printk(KERN_ALERT "killd: bye/n");
}
module_init(killd_init);
module_exit(killd_exit);
2、同路径下创建Makefile文件,内容如下:
obj-m := killd.o
all :
$(MAKE) -C /lib/modules/$(shell uname -r)/build M=$(PWD) modules //最前面的空格必须是tab键生产,否则编译产生错误Makefile:3: *** missing separator. Stop.
clean:
$(MAKE) -C /lib/modules/$(shell uname -r)/build M=$(PWD) clean
3、在当前目录下执行make
执行报错,如下:
make -C /lib/modules/3.10.0-957.5.1.el7.x86_64/build M=/data1/c-make modules
make:*** /lib/modules/3.10.0-957.5.1.el7.x86_64/build: No such file or directory. Stop.
make:*** [all] Error 2
提示没有文件
4、进入/usr/src/kernels/下看有没有相应的内核开发包,没有,就安装,若有跳过第一步
UNAME=$(uname -r)
yum install gcc kernel-devel-${UNAME%.*}
正常情况下安装完成以后就可以正常编译了,如果不行,创建软连接
ln -s /usr/src/kernels/3.10.0-957.5.1.el7.x86_64/ /lib/modules/3.10.0-957.5.1.el7.x86_64/build/
5、插入模块的时候提供D状态的进程号,就可以将其转换为t状态,使用普通kill就可以杀死。
sudo insmod ./killd.ko pid=1234
借鉴: