CVPR2016原论文:Attention to Scale: Scale-aware Semantic image Segmentation
源代码(caffe框架):http://liangchiehchen.com/projects/DeepLab.html
1.主要内容:
提出了多尺度注意力机制的语义分割网络模型。该网络模型具备两大特点:1,运用了多尺度特征 2,运用了注意力机制。
运用多尺度特征,网络模型能捕获到不同感受野的上下文特征,这些上下文图像特征对于语义分割十分重要。提取多尺度特征的两种方式:1)在中间层采用跳跃连接,然后将这些不同层的特征进行融合。2)用多个不同尺寸的图像作为输入,共享同一个网络。如下图:
运用注意力机制,网络模型能够区分图像中哪些地方的特征信息更加重要。特别地,该模型对每个尺度特征都采用了注意力机制。
2.主体网络结构:
主要分为两个模型网络:深度卷积网络;注意力模型网络。
深度卷积网络提取不同尺寸图像的特征信息Score map。
注意力模型网络获取注意力权重特征weight map。