最新论文阅读（12）--Feedforward semantic segmentation with zoom-out features

Feedforward semantic segmentation with zoom-out features

- CVPR2015
- TTI-zoomout-16；语义分割
-       

　　这篇文章的方法是superpixel-level的，主要是基于CNN实现的。
　　这篇文章的亮点应该是：1，它把CNN每一层的特征都拿出来使用，兼顾了local信息和global信息。2，直接使用image classification的现有成果，不用自己训练网络，方便高效，易于推广。3，实验结果好，比FCN的方法结果好。
　　从作者贴出的example来看，分割的边缘还是有些粗糙，原因是：本文方法是直接基于superpixel做特征提取和分类的，提取的superpixel是不够准确的，一个superpixel中可能包含了多个class。要优化这个边缘，应该还是要挖掘出pixel level的细节信息。

TTI-zoomout-16

　　一般是指语义分割中的下采样。
　　设卷积核大小不变，因为有下采样，图像在逐步变小，所以实际上卷积核所能感知的范围是逐步增大的，也就是文中所说的zoom out。其实就是说通过下采样得到的是全局信息。
　　

　　在superpixel level，红色框区域和蓝色框区域，也就是CNN的浅层，输出的特征是local feature，主要包含这个小区域的颜色信息和密度信息，它和相邻的superpixel的特征会有较大差异。
　　把superpixel向外zoom out，在proximal level，可以得到橄榄色的区域，在这个level提取的特征主要捕捉superpixel周围其他superpixel的信息，已经不是local的信息了，应该是neiboring的信息。对于离得近的superpixel（如A和B的橄榄绿框），它们在这个level的receptive fileds会有较多的overlap，它们之间存在smoothness，在这一层面的特征表示会有些相似，而如果离得远（A和C），overlap小，那么它们的特征表示会有较大差异。
　　继续向外zoom out，在distant level，紫色的蓝色的区域，常常带来较大的overlap，可以在superpixel之间建立联系，并且，此时的感知区域已经能够包含一些object，所以这个level提取的特征会包含object的一些形状信息、空间位置信息、复杂的颜色和梯度信息。一些方法用CRF来挖掘这类信息，这样做常常带来复杂的难以求解的模型。
　　再zoom out，在scene level，就是对整幅图片感知，得到的是global的信息。这level的特征主要包含的信息是”what kind of an image we are looking at“，可以基本限定class的范围。