【论文笔记】Street-View Change Detection with Deconvolutional Networks

论文

论文题目：Street-View Change Detection with Deconvolutional Networks

论文地址：https://www.researchgate.net/publication/304533064_Street-View_Change_Detection_with_Deconvolutional_Networks

主要内容

提出一个系统，用于对车载单目相机拍摄的街景视频进行结构变化检测。将多传感器融合的SLAM和快速密集的3D重建管道连接起来，将粗配准的图像对提供给深度反卷积网络，用于像素级变化检测。

提出CDNet，一种基于堆叠收缩和扩展块思想的高效CNN架构来检测图像对之间的变化。参数量有140万个，较为紧凑，在性能和模型大小之间取得平衡，适合移动平台，小数据集中不易过拟合。

贡献：

• 提出一种深度反卷积架构，在街景变化检测任务上性能显著（优于手工设计的描述器），同时对嵌入设备（1.4M参数）保持适当的轻量级。
• 提出一个新数据集，用于城市场景变化检测，包含有挑战性的季节和照明变化。
• 设计出一个多传感器融合的SLAM系统，该系统与快速密集重建管道相结合，用于图像对的近似对准，以实现跨时间的变化检测。

 

流程概述

1. (a)使用多传感器融合SLAM系统处理t1和t2时刻的视频序列，考虑到GPS、惯性测距和RGB图像数据，以产生车辆运动和稀疏的三维重建；
2. (b)通过近似的GPS定位和强大的特征匹配和捆绑调整，对序列进行跨时间登记；
3. (c)使用一种新的斜面平滑器方法对重建进行有效的密集化；深度图被用来通过重新投影（π）来对齐图像；
4. (d)使用一个反卷积网络来预测对齐的RGB图像之间的变化；
5. (e)网络的预测变化显示为红色。由于照明和季节性变化造成的干扰被正确处理。

网络架构（CDNet）

 CDNet，4个压缩块（contraction block）分别由CONV、BNORM、ReLU和max-pooling层组成。4个扩展块（expansion block）中每一个都是由一个指导解池（来自相对应contraction blcok的存储的池化指标）、CONV、BNORM和ReLU层组成。最后一层是一个线性运算器，后面是一个softmax分类器。作为一个预处理步骤，对输入的RGB图像进行通道方向的归一化处理。

构成Contraction network的4个block用于创建丰富的表征；构成Expansion network的4个block改善变化区域的定位和划分。最终变化决定是由一个softmax线性分类器密集操作每个像素。

• 每个contraction block由一个7*7卷积层组成，具有固定数量的64个特征。在非线性激活之前，对其输出进行批量归一化（batch normalization，BN），以减少训练过程中内部协变量移位（internal covariate shift），提高收敛性。BN的参数没有使用费统计数据计算，而是作为额外参数学习的。非线性激活由标准的整流线性单元（Rectified Linear Units，ReLU）产生，并由2*2的max-pooling层，步长为2，以减少空间维度。该操作后，最大响应的指标被存储起来，以便以后在相应的expansion block中使用，对数据执行干净的上采样。
• 每个expansion block 首先使用非池化层对其输入进行上采样。该层利用以前存储的指数产生一个上采样版本的输入，保留了边缘位置的激活，以及其他高频特征。这个操作之后是一个7×7的卷积，有固定数量的64个特征。和以前一样，在ReLU之前，预激活被使用批量归一化处理BN。这种扩展和收缩块的堆叠使网络结构在特征的数量上完全对称。

注：

1.采用的是双通道的网络训练方法

2.EXPANSION NETWORK中unpool的上采样层参数使用的是存储在maxpool中的参数

3.批标准化参数并入网络参数组一块优化

Dense 3D Reconstruction

训练方式：

卷积块与反卷积块都随机初始化。使用默认参数的Adam optimizer进行训练。

收敛较快，在200epoch以内，每个epoch 150个batches，batch大小为10对图像。

损失函数：加权交叉熵，根据训练集中类的逆频率选择权重

 

实验

 CL-CMU-CD dataset：

PCD dataset： 

 可视化：