文章目录
1 摘要
本文针对场景解析提出一种使用金字塔池化模块的PSPNet,能够聚合不同区域的上下文信息,在场景解析中达到非常好的效果,该结构在各个数据集中均有很好的表现,其中在PASCAL VOC 2012和Cityscapes中刷新了mIoU的记录,分别获得85.4%和80.2%的准确率。
2 亮点
2.1 PSPNet
2.1.1 PSPNet总体结构的解释
在使用FCN的时候,可能会出现以下三种情况:
如上图:
① 类别关系识别错误。当在外形较为相似的情况下,FCN会把船屋旁边的船识别成为车辆,说明FCN并没有很好利用各个语义之间的联系,例如在这个例子中,船出现在湖泊中和船屋旁边的概率肯定会比车辆大。
② 类别发生融合。在外形相似的情况下如建筑和摩天大楼,FCN在第二栏中把一个物体识别成为一部分为建筑一部分为摩天大楼。但是这个物体应该只能为二者的其中之一。
③ 忽略小尺寸的物体。如在第三行中,FCN就把枕头忽略掉了,这是由于一大片床单上放置一个颜色跟床单较为相似的枕头,而FCN关注全局特征信息的时候就忽略了局部信息。
出现上面的根本原因是:对于同一张图,FCN总是采取同一个尺度的池化层,也就是总是考虑的是全局信息而有可能忽略了局部信息以及局部信息之间的联系,为此,作者提出需要进行多尺度