文献阅读笔记(1)2018 CVPR - Competitive Collaboration

版权声明:本文为博主原创文章,允许转载,有问题请联系博主,共同探讨共同进步。 https://blog.csdn.net/weixin_39277458/article/details/88841120

文章标题:

Competitive Collaboration: Joint Unsupervised Learning of Depth, Camera Motion, Optical Flow and Motion Segmentation

文章作者:

Anurag Ranjan1 Varun Jampani2 Kihwan Kim2 Deqing Sun2 Jonas Wulff1 Michael J. Black1

发表:2018 CVPR

文章链接:

https://download.csdn.net/download/weixin_39277458/11064779

 

1. 关键词:

Unsupervised Learning(无监督学习)、Generative Adversarial Networks(生成对抗神经网络)、Competitive Collaboration(竞争式协作)、Low-level Vision(低级视觉)、Single View Depth Prediction(单目深度预测)、Camera Motion Estimation(相机运动估计)、 Optical Flow(光流)、 Static Scene and Moving Regions Video Segmentation(视频静态环境和动态区域分割)、Automotive(自动驾驶)

 

2. 目标:

使用一个对抗神经网络结构(Generative Adversarial Networks),从未标注的自动驾驶(Automotive)单目视频输入中,估计单目深度(Single View Depth)、相机运动(Camera Motion)和光流(Optical Flow),并对静态环境(Static Scene)和动态目标(Moving Regions)进行分割(Segmentation)。本文认为以上四个任务是相互关联的,各个任务之间可以相互支援提升最终性能。

3. 研究价值:

  1. 视觉研究中很多信息是稠密且连续的,这一类的标记信息是稀少且难以收集的。本文主要考虑的是其中的四个主要子问题:单目深度估计、相机运动估计、光流和运动分割。

  2. 之前的研究已经尝试过使用合成输入数据进行研究,但是合成数据与真实数据必然存在的差异。

  3. 最近有研究人员尝试使用无监督学习解决缺乏Ground Truth数据的问题,但是模糊性(highly ambiguous)是一个很大的挑战。为此,本文的思路是利用这四个问题之间的几何约束对模糊性进行更强有力的限制。

  4. 本文之前的研究有尝试过将其中的两个问题耦合在一起进行无监督训练,但是结果并不是很好,原因在于动静场景分割没有对人或车进行有针对性的分割;其次,输入视频数据与训练模型假设不一定相同。

4. 方法:

本文利用生成对抗网络(GANs)将四个子问题耦合在一起进行训练,四个子问题之间将会相互提升。与传统的GANs不同的是,本文使用了两个对抗者(Adversaries)和一个批评者(Moderator)进行三元对抗训练。

5. 结论:

  1. 本文引入了竞争性合作的无监督学习框架达到具体目的;

  2. 联合地训练四个问题良好地提升了各自的性能;

  3. 本文是第一个使用低级视觉信息(单目深度、相机运动和光流)进行分割的无监督学习研究;

  4. 相比所有的无监督学习成果,本文在预测单目深度、相机运动和光流上都取得了最好的结果。

 

展开阅读全文

没有更多推荐了,返回首页