关闭

车辆检测“Integrating Context and Occlusion for Car Detection by Hierarchical And-Or Model”

1662人阅读 评论(2) 收藏 举报
分类:

sczhu课题组的文章:
http://www.stat.ucla.edu/~boli/projects/context_occlusion/context_occlusion.html

主要思路
And-Or模型结合上下文及遮挡信息用于车辆检测,And-Or模型在三个层次上描述car-to-car上下文及遮挡信息,(1)N个car之间的空间布局,(2)单个car不同的遮挡结构,(3)part。
学习过程包含两步,首先学习And-Or模型的结构,设计为无回路有向图(directed and acyclic graph)。然后使用Weak Label Structural SVM学习模型参数,在KITTI,Street Parking dataset,Pascal VOC上进行测试。

And-Or车辆检测结构
下图是车辆检测的And-Or模型,包含3种节点,And节点表示分解,Or节点表示structural variations,Terminal节点grounding symbols to image data.

这里写图片描述

(1)根Or节点表示N-car结构,包含车辆视图及car-to-car上下文信息,之后使用And节点表示N-car结构,上下文信息反应N-car在场景中的布局。
(2)N-car结构使用And节点表示,分解为N个车辆,由于车辆具有不同的视图及遮挡方式组合,将每个车辆使用一个Or节点表示。
(3)每个遮挡的模式使用And节点表示,并将被分解为parts,part可用3D CAD仿真或者DPM学习。

And-Or模型及其评分函数
1.And-Or模型
本文的And-Or模型有五层,使用3元组表示G=V,E,Θ,其中V表示节点,E表示边,Θ=(Θapp,Θdef,Θbias)分别是表示app,def和bias的参数。

2.评分函数
Terminal节点:
给定父节点A,terminal节点使用四元组表示(θappt,st,at|A,θdeft|A),其中θappt是appearance模板,s是尺度,a定义了锚点位置,θdeft|A是deformation参数,节点t的得分函数是:
这里写图片描述

And节点将N-car分解为单个car,或单个car分解为part,单个car的And节点可认为是DPM,得分是:
这里写图片描述

N-car 的And节点的子节点是Or节点,Or节点表示不同的结构变化,对于根Or节点,得分是:
这里写图片描述
对于i-th car Or节点,给定pA位置N-car And节点A,得分是:
这里写图片描述

DP算法检测
1.depth-first-search,自下往上计算所有节点appearance和deformation得分图
2.自上往下过程,寻找所有根节点得分满足score(O,p)>=t的位置

通过挖掘Context及Occlusion模式学习模型参数
使用D+=(I1,B1),...,(In,Bn)表示正样本集,B是图像I中bbox,从D+中生成N-car正样本,即:
这里写图片描述

1.挖掘上下文信息
使用相对位置描述N-car的布局,(cx,cy)表示bbox的中心,布局特征为:
这里写图片描述
使用k-means对布局特征进行聚类获取T个聚类中心,聚类中心用来定义Layer 1层的And节点,KITTI及Parking Lot数据库的D+2car聚类可视化如下,不同的颜色标识了特定的2-car上下文模式:
这里写图片描述

2.挖掘遮挡模式
对于D+1car与其他车辆无遮挡的情况,使用DPM定义Layer 3和4的节点:(1)对D+1car的bbox的长宽比聚类,训练初始的appearance模板(2)定义Terminal节点。
主要对D+2car挖掘遮挡信息,下图显示了KITTI及Parking Lot数据库的遮挡率:
这里写图片描述
遮挡建模的方法使用参考文献【19】。

实验结果
这里写图片描述

这里写图片描述

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:356881次
    • 积分:5252
    • 等级:
    • 排名:第5380名
    • 原创:175篇
    • 转载:3篇
    • 译文:2篇
    • 评论:196条
    最新评论