SLAM论文笔记---- FlowNet及FlowNet2.0

SLAM笔记第二篇

FlowNet提出端到端的cnn网络学习从一对图像来预测光流，额外开发了correlation layer来进行匹配，构造了flying chairs以解决数据不足问题。

传统的滑动窗口cnn存在计算成本高，边缘问题；另一种方法是将特征向上采样到所需分辨率并堆叠。
FlowNetSimple将两张图片堆叠在一起，只包含卷积层。
FlowNetCorr将两幅图像分别先单独相同处理，在更高层次将两者合并，引入相关层，将分别以x1，x2为中心的两个图相对相卷积。，文中k=0，也就是说， C（x1，x2）就等于第一个feature map中x1处的特征向量与x2处的特征向量计算点乘。同时为了减少计算量，两帧之间计算相关性的区域被限制在一个[-d,d]x[-d,d]的区域内，也就是说，第一个feature map中x1处的特征与会第二个feature map x 处的特征计算相似度。因此最后得到的输出特征图就是 ，文中d=10这也就是图2b中corr操作后特征图中channel数441的由来。

Refinement部分，用来细化粗糙的池化表示，对特征图进行上卷积，并与跳跃连接来的特征图和上采样的粗糙预测连接，重复四次，输出分辨率仍为输入的1/4.最后采用双线性插值补全。

创建了flying chairs数据集

将仿射变换应用到Flickr收集的图像和公开的3D椅子模型上。随机采样椅子和背景的仿射变换参数，椅子变换是相对于背景的变换，这可以几十位移动的相机和物体。再使用转换参数对第二张图进行渲染。合成了大概22k的数据图像。

实验结果

可以看到再Sintel上S+ft+v甚至能和DeepFlow相比，KITTI上FlowNetS比FlowNetC更好，再flying chairs上可以看到FlowNetC优于FlowNetS，因为使用该数据集训练的两个网络，所以可以看到两个网络表现在该测试集上很好。总的来看S可以比C更好的推广到Sintel上，C在flying chairs优于S，这是不包括运动模糊和迷雾的，这表明FlowNetC的拟合要高，取决于数据的质量。

FlowNet2.0

FlowNet在小位移和真实数据上并不是很好，还不能与传统的方法相竞争，2.0有三个主要提升，训练数据、stack架构、建立专门研究小运动的子网。后两点目的在于解决以最优方式解决

数据训练的方式改变

flying chairs中的数据是简单的仿射变换得到，Mayer等人提出的flying things3D数据集比前者更加真实的3D运动和照明效果。利用了不同的训练方式如下图，得到了三个结论：不同属性的训练数据的训练数据、FlowNetC比FlowNetS更有优势、不同的训练数据和顺联安排可以提高结果。

Stacking Network

学习绝大多数光流网络，通过迭代网络来优化光流，第一个网络的输入为两张图片，,次级网络输入则为Flow、两张图片、对进行warp操作后的特征图，及其与的误差。

上表为两个FlowNetS网络及是否有warp操作的效果图，根据表可以发现，单纯的stack网络会导致过拟合，warp操作会提高stack效果，Net1后加loss操作对训练有利，保持Net1不变，训练warp操作后的Net2，效果最好。

选用不同的网络来组成stacking network，并改变网络的大小。第一个网络为bootstrapping network，使用FlowNetC，因为下层网络的输入多样化，不便于用其来处理，更小的网络通过使用网络中每一层的小部分信道来创建，如下图显示，因子为3/8的FlowNetS网络更好的平衡了准确率和速度。这在随后的测试结果中也证明。

为了训练小位移创建了数据集chairsSDHom，并对FlowNetS架构进行卷积核的调整生成FlowNetSD。

可以看出2.0在很多数据集上都可以和传统发发相媲美，且比FlowNet有了很强的提高。

自己的总结：flownet作为首先开创了cnn的端到端的光流预测网络，且提出了correlation layer，虽然在一定程度上有了突破，但依旧依赖于数据集的质量和训练方式，在FlowNet2.0中对三个方向进行了改进，且提出了stacking network和SD网络，并通过测试选出了优秀的网络结构，在各个数据集上可以与传统方法相比，但运算速度提高量级，stacking的网络模式，较好的传递了图片信息，且误差的传递和volume cost有异曲同工之妙，在Middlebury亚像素上表现并不是很理想，这也是需要提高的，但我不了解这个数据集。。。。。。