watchdog看门狗soft lockup软死锁和Hard LOCKUP硬死锁原理分析

watchdog看门狗soft lockup软死锁和Hard LOCKUP硬死锁原理分析

看门狗线程的创建

在watchdog_enable函数中创建高精度定时器进行看门狗定时，并运行该定时器。

soft lockup软死锁检测

当定时器到期后先读出在watchdog_timer_fn函数中首先读出watchdog_touch_ts值，该值即是看门狗函数喂狗值。**然后通过stop_one_cpu_nowait(smp_processor_id(),softlockup_fn, NULL,this_cpu_ptr(&softlockup_stop_work));后续调用softlockup_fn->__touch_watchdog函数进行喂狗。**第一次调用watchdog_timer_fn函数时completion_done判断为真，随后调用reinit_completion函数复位softlockup_completion结构体，然后正常无情况下在softlockup_fn函数中调用complete会使下一次定时器到期后的watchdog_timer_fn函数中completion_done判断依然为真。
随后调用hrtimer_forward_now函数把hrtimer定时器往后延迟指定的时间间隔，即进行下一次看门狗watchdog_timer_fn函数的定时。

stop_one_cpu_nowait函数的功能为在当前CPU上创建一个内核线程来执行softlockup_fn函数。执行完函数后,内核线程和其工作也随之结束并退出。从而实现在当前CPU上以内核线程方式同步执行softlockup_fn。即在当前cpu上创建内核线程执行完softlockup_fn函数后就退出该线程。

在is_softlockup函数中判断是否产生soft lockup软死锁，获取当前时间戳now，参数touch_ts为上次触摸软锁检测时间戳。判断软件watchdog功能是否启用(SOFT_WATCHDOG_ENABLED)并且设定了阈值watchdog_thresh。如果启用并设置阈值,则计算当前时间now与上次触摸时间touch_ts的差值。判断如果差值大于软件看门狗阈值get_softlockup_thresh(),则认为CPU响应时间过长,可能发生软死锁。

简单说就是通过定时器周期性执行watchdog_timer_fn函数如果该cpu上有正常的线程调度即会在规定时间内调用softlockup_fn->__touch_watchdog函数进行喂狗，即会更新时间戳导致is_softlockup函数一直会返回为假。

Hard LOCKUP硬死锁检测

perf_event_create_kernel_counter函数是用来创建perf事件，根据属性配置一个perf事件计数器，将该计数器绑定到指定CPU上，设置好当计数器溢出时会调用watchdog_overflow_callback作为回调函数。

在watchdog_hardlockup_check函数中通过is_hardlockup函数检查是否产生了硬死锁。其原理为每次保存上次的hrtimer_interrupts值为hrtimer_interrupts_saved，当hrtimer_interrupts_saved值与当前读取到的值相同时即表示没有调用watchdog_interrupt_count函数进行喂狗。
而watchdog_interrupt_count函数的调用即在watchdog_timer_fn函数中进行即高精度定时器中进行。发生Hard LOCKUP硬死锁即表示定时中断无法进入。

软死锁和硬死锁总结

软死锁表示产生死锁的cpu上运行的任务超过了一定的时间限度导致无法进行内核线程调度。典型场景为某个cpu上一直在while死循环，导致该cpu无法调度运行他任务。
硬死锁表示产生死锁的cpu上在一定的时间限度上一直无法响应中断。典型场景为在同一个cpu上调用关中断的自选锁spin_lock_irqsave产生了死锁。