twice论文-深度估计-Don’t Forget The Past: Recurrent Depth Estimation from Monocular Video

这篇论文大体看下来，感觉加了个LSTM，这样可以使视频在每一帧有时空上的连续性。

0 摘要：

就是说像自动驾驶之类的需要连续的更新深度信息，但是目前得到的深度都是独立帧的，视频的帧与帧之间是相互独立的，我们的方法主要的是产生一个让视频帧之间有联系的，即基于时间的一系列的深度图。并且，我们把三种估计深的方法形成一个常规的框架，然后我们把这些框架和卷积LSTM结合起来这样就可以产生具有时空结构的深度进而产生更加准确的深度估计。我们的方法是灵活的，就是说他可以任何的深度模式相结合。我们首先让循环网络和自我监督的单目深度估计和补全结合

1 介绍

 

2 相关工作

主要介绍了监督深度估计，自我深度估计，和使用深度相机或者雷达进行深度补全，以及介绍了通过视频进行深度估计的相关研究，因为本文就是通过视频进行研究的。

 

3.方法

3.1 监督学习的深度估计

3.2自我监督的深度估计

3.3深度补全

3.4本文学习时间序列的深度图

就是说上面的三种方法虽然都进行了深入的研究但是视频在同一时刻的每一帧都是单独的，没有相互关系。自我监督的方法也仅仅是使用了邻近的帧在训练的时候来计算视图的合成损失，就是说大量的丰富的，长的序列结构关系没有被挖掘出来。所以本节展示一个框架去拓展上面三个方法让他们可以可以在训练和测试的时候用到基于时间的数据序列。

我们将深度恢复问题定义为从多模态数据（即图像和稀疏深度图）的时空序列到数据（即稠密深度图）的时空序列转换的问题，也就是说我们在自我监督的基础上改进的呗。我们要求的是当前时刻的密集深度图