Attention to Scale: Scale-Aware Semantic Image Segmentation论文阅读笔记

本篇论文主要介绍了尺度感知的语义图像分割(scale-aware Semantic Image Segmentation)


1.首先，多尺度的特征是提升语义图像分割性能的一个关键因素。
2.提取多尺度的特征主要有两种网络结构：
  第一种是：skip-net，第二种是：share-net
  
(1)skip-net的特点是取网络中多个中间层的特征并合并成一个特征，以实现多尺度的特征；
(2)share-net的特点是对输入图像进行尺度上的变换，得到不同尺度的输入图像，然后分别输入给网络，这样能够得到不同尺度的输入图像的特征，以形成多尺度的特征。
3.论文采用的是share-net的方式来得到多尺度的特征，在采用share-net方式提取多尺度特征时，需要考虑到一个问题，就是如何对多个尺度输入图像得到的特征进行融合？
(1)多尺度输入图像的特征的融合目前主要有两种方式，一种是max pooling；一种是average pooling(取平均)；

(2)本篇论文提出对多尺度输入图像特征进行加权求和进行融合:

   是不同的尺度

  用图来表示：

  
4.多尺度输入图像的特征采用加权进行融合，如何得到各个尺度的权值？论文提出了利用注意力模型(Attention model)来训练得到各个尺度的权重。


5.Attention Model的网络结构：
  
6.Attention Model的实现
  Attention Model是一个两层的卷积结构，第一层有卷积层有512个3*3的卷积核，第二个卷积层有S个1*1的卷积核（S是尺度数，也就是不同尺寸输入图片数）。 
   
7.对Attention Model如何进行训练这块没有理解。