基于红外热成像的行人检测方法

       本文主要讲解在热红外成像下的行人检测方法，方法来自于《Thermal-Infrared Pedestrian ROI Extraction through Thermal andMotion Information Fusion》，感兴趣的可以看下论文原文，若文中有理解错误的地方望指出。

⒈ 热红外成像的特点：

⑴ 不受光照条件应影响

⑵ 图像中的人会比背景显得更亮

整体流程

       先通过热成像阈值分析和运动分析分别比对出可能的人体ROI区域Rt和Rm，然后通过ROI fusion得到混合的ROI区域Rf，再通过一定的策略对人体区域的高和宽分别进行调整，最终通过宽/高比值及面积判定确定最终的Pedestrian ROI。

2. 具体实施方式

2.1 Thermal Analysis

       通过阈值对图像进行二值分割，其中阈值

之后对二值化图像分别进行开操作和闭操作后进行连通域运算，计算后我们仅保留连通域面积大于Amin的连通域作为通过亮度分割结果的候选连通域，记为Rt。其中Amin=0.0025*r*c，r和c 为连通域的宽高。

2.2   Motion Analysis

       热红外成像对于温度比较敏感，当环境温度较高或环境中高温物体干扰多的情况下，仅通过Thermal Analysis将无法检测到全部的行人，因此通过MotionAnalysis加入运动信息的判定，可以检测到场景中运动的行人，增加检测的召回率。

    通过论文《A shape-independent method for pedestrian detection withfar-infrared images》（可以参考博文https://blog.csdn.net/guanyuqiu/article/details/51276576），可以检测得到许多可能的行人ROI区域。在Motion Analysis中我们加入一些额外的限制，设定变化阈值为16（经验值），比对前后两帧的同一位置像素点的差值，若满足条件：

则该像素点为“warm”pixel，我们限制仅当“warm”pixels的个数大于ROI区域pixel个数的5%，并且面积大于最低阈值，我们将这样的ROI记作Rm。

2.3   ROI Fusion

       将得到的Rt和Rm融合为一个ROI区域Rf，分为以下三种情况：

⑴ 对于Rt中的与Rm的没有任何的交集ROI，加入到Rf中；

⑵ 对于Rm中的与Rt的没有任何的交集ROI，加入到Rf中；

⑶ Rm和Rt中有交集的ROI，将和的所有像素点构成一个新的ROI，加入到Rf中，

2.4   Blob Analysis

2.4.1 ROI WidthAdjustment

       因为之前所得的ROI区域可能包含不止一个行人目标，通过Width Adjustment可以将多个行人分开。具体做法是以列为方向统计每列的像素值的和并构成灰度直方图，直方图计算方法：

通过直方图的峰值和低值能够把区域中的多个行人分开。这样我们将分开后的新的ROI记作sRf。

2.4.2 ROI HeightAdjustment

       根据行像素均值对ROI区域高度进行截取。

2.5   Pedestrian Confirmation

       最后一个步骤，通过一些限制滤除一些可能不是行人的ROI区域。限制大概分为两点：

⑴ 如果width>height，需要计算ROI的灰度值标准差，因为通常width>height可能是被误检的灯泡等高温度物体，这种物体通常热量分布比较均匀（人体通常头部亮度较高，其他区域比头部低），因此若标准差小于12，则认为该ROI不是行人，被滤除;

⑵ 面积area>Amin。

⒊ 测试结果

论文中给出了12中不同环境下的测试场景，包括天气的不同和环境温度的不同，为了测试不同环境对方法准确率和召回率的影响。

总体结论是：天气对于热红外成像检测人体目标的影响不大，但是受温度的影响非常大，可以看到随着温度的升高，召回率下降的非常多，甚至在晴天33度的情况下召回率只有0.03；但是在2~20度的区间内，算法都有较好的召回率和准确率。