2(Y)基于全卷积网络的航空图像道路提取集成方法
摘要:
为解决航测图像中道路与背景区域不平衡的问题,本文提出了一种基于全卷积网络(FCNs)的综合策略道路提取方法。通过使用FCN,我们将道路提取视为一个语义分割问题。在网络中,由于道路和背景之间的不平衡,损失函数的权重被修改,如果道路被错误地分类为背景,将会有更大的惩罚。针对给定图像损失函数权重难以确定的问题,提出了一种基于空间一致性(SC)的集成方法。从具有不同损失函数的FCNS中获得的结果映射融合在我们提出的集成策略中,这也避免了权重的确定。利用马萨诸塞州道路数据集对该方法进行了测试,实验结果表明该方法与基于全卷积模型的方法相比是有效的
整体网络架构:
第一部分:使用FCN进行下采样,采用了VGG的架构,经过连续的卷积和池化操作,得到一系列特征图
第二部分:在初始VGG网络的常数卷积层和池化层之后使用全连接层,使用反卷积层对特征图进行上采样,将特征图恢复到其输入大小。
创新点1:修改损失函数
如上损失函数,m表示像素总数,y(i)=1代表道路,y(i)=0代表背景,y¯(i)表示由分类器计算出的像素是道路的概率,(1-y¯(i))表示由分类器计算出的像素是背景的概率。
问题:由于道路往往比背景稀疏,通常占整个图像的比例不超过10%,这两个类之间存在严重的不平衡,为了获得较低的总损失,分类器倾向于将许多像素作为背景
解决方案:使用加权损失
设置不同权重w进行测试:
FCN-2w表示道路类的权重为2,即w的值为2。
创新点2:整体策略
问题:查看Fig2结果,会发现,不同的权重(w) FCN模型性能差异很大,道路权重越高, 分类结果的完整性越高,但是正确性可能会变差,背景可能会被识别为道路
解决:使用以下公式来融合从不同权重的FCN模型中获得的结果
其中Xiensemble表示像素i处的集合结果,Xik表示从第k个FCN模型获得的结果图中像素i处的分类结果,Wik为其对应的权重
当像素i是第k个FCN模型给出的结果图中的一条道路,当它是背景时Xik=−1,因此,如果每个结果的加权和Xiensemble大于0,则像素i将被推断为道路
创新点3:结合SC集成策略
我们肯定希望更好的SC结果(Xik)能够发挥更大的作用,那我们可以采取给它赋予更高的权重,并且希望权重(Wik)的值应该在[0,1]范围内缩放
问题:那我们如何去评估每个模型像素i评估结果(SC结果)是否好呢?
解决:提出了一种基于SC的集成策略,它鼓励空间接近的像素更有可能属于同一类
SC策略认为,属于同类的像素会挨在一起
(使用以像素i为中心的邻域区域负标准差的指数函数来评估SC),使用下面公式
其中x¯和sqrt分别表示邻域面积的均值和标准差,xp表示属于邻域的点
公式思想:当i点像素与领域点像素越像,SC越好,(x¯-xp)2越小,标准差(sqrt)越小,权重(wik)越大,则wik×xik这个i点贡献就越大