Image Contour and Junction Detection

Perceptual Organization: 

“…the processes by which the bits and pieces of visual information that are available in the retinal image are structured into the larger units of perceived objects and their interrelations”（Stephen E. Palmer,  Vision Science , 1999）

“将视觉可见的比特值和可视信息碎片组成更大单位的感知对象并建立它们之间的关联。”

Attneave's Cat (1954): 线的结构传达主要信息

Contour 's  History

局部边缘检测方法-1970s和80s早期；

Sobel, Rosenfeld, Binford-Horn, Marr-Hildreth, Canny …

利用曲线的连续性进行边缘连接检测

Rosenfeld, Zucker, Horn, Ullman …

80s开始有一些人将Perceptual Organization作为目标识别的前期工作。

Binford, Witkin and Tennebaum, Lowe,  Jacobs …

Berkely Vision Group

收集人为分割的数据集

结合亮度、颜色和纹理学习局部边界特征

从全局的角度来捕捉closure和continuity

检测和定位junctions

将底层(pixel)、中层(edge)和高层(region)的信息集成来分组和分割。

Berkeley Segmentation Data Set[BSDS]

D. Martin, C. Fowlkes, D. Tal, J. Malik. "A Database of Human Segmented Natural Images and its Application to Evaluating Segmentation Algorithms and Measuring Ecological Statistics", ICCV, 2001

http://www.eecs.berkeley.edu/Research/Projects/CS/vision/bsds/

Note:

1. precision-recall 曲线： 与ROC曲线相似，但不完全相同

          precision->计算出的边缘像素是真实边缘的概率；(TP/(TP+FP))

          recall->真实边缘概率被检测出来的概率. (TP/(TP+FN))

2. F-meature: precision与recall的调和平均数(2/(1/P+1/R))

          F值越大效果越好

3. 为什么不使用ROC曲线评价：

          ROC曲线中的FPT=FP/(FP+TN)，图像分辨率一旦变化，TN随之二次方变化， TP则线性变化，FP线性变化，那么FPT则1/n比例变化，而Recall依旧是线性变化，所以ROC曲线在图像领域不是很适合。

Martin, Fowlkes, Malik PAMI 04’

Using Contours to Detect and Localize Junctions in Natural Images. CVPR. 2008

     1. Contour Detection:

• 计算亮度、颜色和纹理三个通道（1976 CIE Lab color space）在一定半径的圆内，方向角为的梯度值；

• Normalized Cuts criterion(Jianbo Shi.PAMI’.2000)

1. (D - W) x = lDx 
2. W定义为连接两个像素的边上mPb最大值
3. D为像素到其他所有像素的W值总和
4. 解特征值和特征向量
5. 
   
6. 权值通过梯度上升法学习

     2. Localized Junctions

• 求在窗口内距离各轮廓边缘最近的点

     

• 更新各轮廓权重

     

• 重复5次（已收敛），将没有经过junction的轮廓作为干扰去掉

总结

1.自底向上的提取方法

2.计算复杂度比较大->Efficient, High-Quality Image Contour Detection. (ICCV, 2009)