《Lucid Data Dreaming for Video Object Segmentation》论文笔记

最新推荐文章于 2020-08-06 15:11:56 发布

m_buddy

最新推荐文章于 2020-08-06 15:11:56 发布

阅读量903

点赞数

分类专栏：图像&视频分割文章标签： Lucid augmentation

本文链接：https://blog.csdn.net/m_buddy/article/details/105348400

版权

本文探讨了一种数据增强技术——Lucid Data Dreaming，用于减少视频对象分割（VOS）模型训练所需的数据量。通过这种方法，可以将数据需求减少20到1000倍，同时保持与传统方法相似的性能。文中详细介绍了视频分割网络的设计，包括两个stream的结构，并提出了多类目标分割和考虑时序相关性的改进。Lucid Data Dreaming涉及光照变化、形变、平移、遮挡和动态背景变化等多种数据增强策略，有效提升模型的泛化能力。

摘要由CSDN通过智能技术生成

参考代码：LucidDataDreaming

1. 概述

导读：文章针对在运动场景下需要高质量表现模型（VOS）的训练过程进行了探究，一般来讲训练这些模型到较高的性能，需要较多样的数据，这就需要较多的数据量，而这篇文章中比较有意思的点是提出了一种数据合成方法lucid data dreaming，文章使用这样的数据增广方式可以将需要的数据量减少20~1000倍，但是取得的效果能够与采用原始方法进行训练得到的结果近似，是一种和具有实用价值的数据增广技术。

这篇文章的方法嵌入到视频分割算法的训练流中，其流程见下图所示：
在这里插入图片描述

2. 方法设计

2.1 视频分割网络

文章中使用的视频分割方法利用了原始的图像数据 $I_t$ ，前一帧的分割结果 $M_{t-1}$ ，视频当前帧的光流梯度（使用FlowNet2） $F_t=h(I_{t-1},I{t})$ ，因而将上面的信息可以得到2个stream的视频分割网络结构（一个stream输入为RGB图像，一个维光流梯度），之后把这两个stream的输出经过平均输出，则对应的输出为：
$M_t=0.5*f_I(I_t,\dots)+0.5*f_F(||F_t||,\dots)$

最低0.47元/天解锁文章