最近在做关于红外视频的项目,主要是对区域入侵检测,主要是能够对行人进行识别,又到了瓶颈期,所以看看论文找些灵感,下面也主要是对看到的论文的思想及实现步骤进行总结。
1.《Thermal-Infrared Pedestrian ROI Extraction through thermal and Motion Information Fusion》
2.《A Shape-Independent-Method for Pedestrian Detection with Far-Infrared-Images》
文章中作者对目标分割和目标分类分别做了介绍。
目标分割
“水平分割”方法是基于“亮像素垂直投影曲线”实现的,“垂直分割”基于“亮度/人体线条”实现的。
A.水平分割
A.1亮像素垂直投影曲线
亮像素垂直投影曲线是红外图像每一列”亮像素”的数量,”亮像素”定义为:
亮像素阈值=max(图像像素值)-Inensity Margin
亮像素垂直投影曲线实际操作如下图:
红外图像亮像素垂直投影曲线及基于亮度垂直分割结果.(a)(c)冬天结果.(b)(d):夏天结果。对于所有曲线:X-图像列位置;Y-每一列”亮像素”数量。
A.2 水平分割方法
过程如下:1.根据上面的等式选择一个亮度阈值,Inensity Margin 选择尽可能大,则阈值就会比较下,这样能够保证获得的感兴趣区域中一定含有行人目标。记录每一列像素值大于亮度阈值的个数,从而生成亮像素垂直投影曲线。
2.搜寻波开始的位置和波下降结束的位置;
3.忽略零值平坦区域,保存每一对波开始点和波结束点;
4.对应曲线波记录图像可能含有行人目标的每一竖条;
B.在水平分割条纹中截取行人垂直位置
作者介绍了两种垂直分割方法,第一种是基于亮度分割,这种方法对于冬季和户外情况分割效果较好,第二种是基于人形方法分割。
B.1基于亮度垂直分割
在水平分割得到图像条纹,搜索条纹中最亮和最暗的位置估计目标的垂直位置。
B.2基于人形的垂直分割
1.行人水平人形检测
行人的左右边缘是图像像素值变化较快的位置,为了获得行人人形的最终位置,利用Sobel算子计算水平方向的像素变化。
其中(x,y)是像素的位置,I(x,y)是图像像素值,是像素水平间距。计算每一行所有像素的水平间距,左半部分最大的值就是行人的左边界,对于梯度小于或等于0的跳过。右边界求取方法与左边界类似,但是这样求取的方法可能发生很多边界点属于其它的热目标。
2.基于人形匹配估计行人位置
图(a)是一个行人模板,定义了行人尺寸,利用腰来确定行人。人的腰容易检测,并且不容易丢失。(c)提供了行人检测的例子。
3.基于直方图行人搜索
利用直方图分类特征来搜索最可能的候选目标,行人分割流程图如下图,利用直方图匹配确定目标,之后再利用其它特征进行分类判断。
分类
传统的分类方法是获取目标的形状并且与模板进行对比分类,当分割错误或行人动作改变会出现错误。
A.直方图分类
作者简单的利用一个行人目标做为模板,对不同姿态的行人或不同尺寸的行人与飞行人进行分类
A.1行人的亮度直方图相似性统计
不同的行人、不同的动作、不同的季节图像亮度直方图曲线是不同的。
图(a0)是从一个夏天的视频中截取的行人模板,(a1)是冬季的图像,(b1)显示了(a1)的几个行人的亮度直方图的相似性,(c1)对(b1)曲线的均值与夏季行人的曲线进行了比较。通过对行人直方图曲线数据统计,行人直方图曲线类似于零均值的高斯曲线,值在[-10,10]之间,只有8.2%会有非常的大的变化。从这也可以看出行人直方图是非常相似的。
A.2直方图分类能力
(b2)是非行人(a2)的曲线,(c2)显示了(b2)均值和行人模板亮度直方图曲线的比较,(b)(c)显示了行人/非行人的亮度直方图特征区间值是不同的。(a0)做为模板,计算目标与模板直方图差值加权和,计算过程如下:
归一化系数,weight(i)权重函数。当亮度i比较暗或比较亮时,权重值要设置的小一些,以降低分割错误的影响。理想的直方图差值是0,差值越大,越不可能是行人。
B.惯性特征分类
图像的惯性特征计算如下:
B.1 行人惯性特征相似性统计
行人的统计计算如图(b),分布图如(c),该分布与RayLeigh分布相似,惯性均值是1.03,70%的行人区域惯性值是0.8~1.2,94%的惯性值是0.6~1.4.
B.2惯性特征分类能力
惯性特征能解决直方图分类不彻底的问题。行人区域的很多亮度值在图像块的中间,和水平或垂直边缘头、手、或脚。而非行人区域亮像素在边界存在的很少。
C.基于对比度分类
行人的边界对比度很强,水平对比度被用来确定行人的左/右边界,垂直边缘如图(a)(b)所示,垂直边界根据(6)计算,当结果大于某一给定阈值则标定为边缘。大多数情况,行人上边界值应该小于2,一般人的上面是天空、建筑物、树,它们的值都小于2。只有当人站在等前面,人与背景的边界差值会接近2.因此如果有上边界并且行边界的值大,没有垂直对比,则这就是非行人目标。
虽然我们不能利用垂直对比度来确定行人,但可以移除一些不具有垂直对比度的非行人,当没有垂直对比并且满足下面一条或两条状况:
1.“底端行的边界”大于1;
2.“上边缘索引”和“感兴趣行边缘索引”都接近或大于1.5;
对比度分类特征数据统计
多特征融合
红外视频——行人识别
最新推荐文章于 2024-07-16 08:57:24 发布