AI论文探讨室·A+·第14期-Learning-based Video Motion Magnification

论文链接

项目地址

简要说明

        这篇文章是MIT&Google在ECCV 2018上发表的一篇文章，相比于我们在13期中介绍的，这篇文章提出质疑：当前流行的主要是依赖手动设计滤波来提取运动表现可能不是最优的方案。本篇作者提出使用深度学习算法来直接学习滤波。为了便于对数据进行训练，我们认真设计一个协同数据集，能够很好地捕获小的运动，使用两帧输入来训练。作者通过实现发现学习滤波能够在真实视频得到高质量结果，和以前相比有较少的振铃伪影和更好的噪声特性。虽然模型在训练中没有使用时间滤波器，作者发现时间滤波器可以与提取图像一起使用来放大到适中倍数，启用基于频率的运动选择。最后，作者发现学习滤波器与之前的索引滤波器具有很多相似之处。

和先前方法比较

系统框架

       该框架主要包含3部分：编码、控制、解码。在进行训练的时候，需要将两个视频帧输入到网络中，以及一个控制参数，输出是一个放大后的图像。

实验结果

更多《计算机视觉与图形学》知识，可关注下方公众号：