深度学习学习笔记（四）—— Tensorflow2+BRRNet进行遥感图像的建筑物提取

深度学习学习笔记（四）—— Tensorflow2+BRRNet进行遥感图像的建筑物提取

1 前言

  过年前后两周确实懈怠了这方面的学习，进度不明显，基本都在原地踏步，所以这两周都没交周报。这一周还算做了点东西，加上之前零零散散的进度，写了寒假的第四次周报。

2 BRRNet模型简介

  BRRNet全称是Building Residual Refine Network，由预测模块（predict）和残差细化模块（residual refinement）两部分组成。基于编解码器结构的预测模块引入不同膨胀率的空洞卷积，逐步提取更多的全局特征特征提取过程中增强感受域。当预测模块输出对输入图像进行初步的建筑物提取结果，残差细化模块取预测模块的输出作为输入。它进一步细化的剩余之间的结果，预测模块与真实结果相匹配，从而提高了建筑物提取的准确性。
  此外，该模型在训练过程中使用Dice_loss作为损失函数，有效地缓解了数据不平衡，进一步提高了建筑物提取的准确性。实验结果预期优于其他五种最先进的方法（其中包含deeplabV3+）。

2.1 模型总览

2.2 预测模块（prediction module）

  这一部分的设计论文参考了U-Net和空洞卷积的结构，它由五个部分组成:输入、编码器、桥接、解码器和输出。我们的输入实验是遥感图像瓦片。编码器使用了U-Net编码器的前三块，其中每个块是一个两层卷积和一个最大池化层，窗口大小为$2\ast 2$和步长为2。卷积运算后，Batch归一化，执行ReLu激活函数。在这些块中使用的卷积内核大小是$3\ast 3$，以及内核的数量分别是64 128 256。预测模块的编码器删除了第四个块U-Net的编码器因为第4块有大量的参数。
  前面的从高分辨率图像中提取建筑物的深度学习方法通常存在问题,如不完整的建筑提取和不准确的建筑足迹提取。对于这些问题的一个重要原因，就是要避免输入图像的信息严重丢失，从而影响最终的效果与定位精度。对于只使用少量的池操作的网络。对于遥感影像，建筑物所占用的像素数会随着分辨率提高。我们称图像中像素更多的建筑为大型建筑，甚至更多在高分辨率的偏远地区，大型建筑的色调和纹理不一致或形状复杂，仅使用少量的池层会导致接受能力不足覆盖整个建筑和周围的背景。因此，不可能提取整个建筑具有全局特征，导致建筑提取不完整等问题以及不准确的建筑足迹提取。
  为了进一步提高接受能力提取更多的全局信息，同时避免了丢失的信息，在尽可能多的图像中，我们采用一种扩展的卷积级数结构，逐次递增，预测模块桥梁连接部分的膨胀率。卷积的大小kernel是$3\ast 3$，卷积kernel的个数是512。膨胀率设置为1，2，4，8，16，依次是32个。这些超参数在实验验证集上进行调整。
  每个区块包括一个反卷积层和两个卷积层。反卷积操作是将前一阶段得到的特征图上采样2次次数，然后将更新的采样特征映射和相应的编码器映射连接起来。然后，通过两个卷积层提取特征。每一个卷积层后面是批处理标准化和ReLu激活功能。在解码器之后，我们使用一个卷积大小为1的kernel $1\ast 1\ast 64$将feature map的通道数转换为1，然后使用Sigmoid激活函数，最终得到预测的预测概率图模块。为了进一步纠正预测模块结果与实际结果之间的残差，将预测概率图输入残差细分模块。

2.3 残差修正模块（Residual Refinement module）

  它与上一个模块的bridge的结构相似（预测模块中的连接部分），它使用6个旋转卷积，膨胀率为1、2、4、8、16、32提取特征，然后将不同尺度的特征图融合的方式。每次卷积操作后，进行批处理归一化和ReLu激活函数使用。空洞卷积的核数是64。然后是一个具有大小的卷积核$3\ast 3\ast 64$, step size为1，将feature map的通道数转换为1。自输入的RRM_Bu图像包含了预测模块的初步信息，我们将其融合将这一阶段得到的特征映射以加性方式输入图像，然后输入将结果融合到Sigmoid函数中，得到最终的概率图。下图为RRM_Bu（b）和RRM_Lc（a）的对比。

3 程序设计

程序使用的环境为python3.7+tensorflow2.1.

3.1 数据源与图像裁切

  训练集、验证集和测试集均来源于ISPRS的Vaihingen数据。首先得把遥感图像进行裁剪成$256\ast$