论文笔记 Unsupervised Extraction of Video Highlights Via Robust Recurrent Auto-encoders

本文提出了一个视频精彩片段检测算法

之前的精彩视频剪辑的方法常用的是处于监督学习或者启发式规则下，本文采用的无监督学习的方法，同时也借助到Youtube上各种各样的用户剪辑过的视频用于训练，同时作者考虑到在用户剪辑过的视频中，精彩部分出现的频率和时长肯定会大于不是那么精彩部分出现的时长。

视频的highlights存在着三个巨大的挑战，第一个是尽管大部分人对于highlight有着相同的概念但是出于主观因素还是会存在不同点；第二个是在数据的收集上，如果再youtube上输入GoPro surfing会存在着噪声数据；第三点就是除了搜索到的视频信息没有其他信息是可用的。也不同于监督学习，我们的视频数据中没有对于highlight和非highlights的定义。

这篇文章提出了两个motivations

第一个是对于同一类型的许多video，highlights在这些video中必定是频繁出现的，同时如果视频是用户上传并剪辑过的视频，那么highlights的画面出现的必定更加的频繁，因此可以认为在同一类型的video中存在着相似性。

第二个是作者提出了一个models建立在a robust recurrent auto-encoder with a shrinking exponential loss function and bidirectional LSTM cells ，同时对于video的highlight的detection采用非监督学习的方法，这样能够充分利用网络上短视频的多样性。