车辆检测“Integrating Context and Occlusion for Car Detection by Hierarchical And-Or Model”

sczhu课题组的文章：
http://www.stat.ucla.edu/~boli/projects/context_occlusion/context_occlusion.html

主要思路
And-Or模型结合上下文及遮挡信息用于车辆检测，And-Or模型在三个层次上描述car-to-car上下文及遮挡信息，（1）N个car之间的空间布局，（2）单个car不同的遮挡结构，（3）part。
学习过程包含两步，首先学习And-Or模型的结构，设计为无回路有向图（directed and acyclic graph）。然后使用Weak Label Structural SVM学习模型参数，在KITTI,Street Parking dataset,Pascal VOC上进行测试。

And-Or车辆检测结构
下图是车辆检测的And-Or模型，包含3种节点，And节点表示分解，Or节点表示structural variations，Terminal节点grounding symbols to image data.

(1)根Or节点表示N-car结构，包含车辆视图及car-to-car上下文信息，之后使用And节点表示N-car结构，上下文信息反应N-car在场景中的布局。
(2)N-car结构使用And节点表示，分解为N个车辆，由于车辆具有不同的视图及遮挡方式组合，将每个车辆使用一个Or节点表示。
(3)每个遮挡的模式使用And节点表示，并将被分解为parts，part可用3D CAD仿真或者DPM学习。

And-Or模型及其评分函数
1.And-Or模型
本文的And-Or模型有五层，使用3元组表示$G={V,E,\Theta}$，其中V表示节点，E表示边，$\Theta=(\Theta^{app},\Theta^{def},\Theta^{bias})$分别是表示app,def和bias的参数。

2.评分函数
Terminal节点：
给定父节点A，terminal节点使用四元组表示$(\theta^{app}_t,s_t,a_t|A,\theta^{def}_{t|A})$，其中$\theta^{app}_t$是appearance模板，s是尺度，a定义了锚点位置，$\theta^{def}_{t|A}$是deformation参数，节点t的得分函数是：

And节点将N-car分解为单个car，或单个car分解为part，单个car的And节点可认为是DPM，得分是：

N-car 的And节点的子节点是Or节点，Or节点表示不同的结构变化，对于根Or节点，得分是：

对于i-th car Or节点，给定$p_A$位置N-car And节点A，得分是：

DP算法检测
1.depth-first-search,自下往上计算所有节点appearance和deformation得分图
2.自上往下过程，寻找所有根节点得分满足$score(O,p)>=t$的位置

通过挖掘Context及Occlusion模式学习模型参数
使用$D^+={(I_1,B_1),...,(I_n,B_n)}$表示正样本集，B是图像I中bbox，从$D^+$中生成N-car正样本，即：

1.挖掘上下文信息
使用相对位置描述N-car的布局，（cx,cy）表示bbox的中心，布局特征为：

使用k-means对布局特征进行聚类获取T个聚类中心，聚类中心用来定义Layer 1层的And节点，KITTI及Parking Lot数据库的$D^+_{2-car}$聚类可视化如下，不同的颜色标识了特定的2-car上下文模式：

2.挖掘遮挡模式
对于$D^+_{1-car}$与其他车辆无遮挡的情况，使用DPM定义Layer 3和4的节点:(1)对$D^+_{1-car}$的bbox的长宽比聚类，训练初始的appearance模板（2）定义Terminal节点。
主要对$D^+_{2-car}$挖掘遮挡信息，下图显示了KITTI及Parking Lot数据库的遮挡率：

遮挡建模的方法使用参考文献【19】。

实验结果