Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness..

Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward
Abstract
       视频摘要旨在通过制作短而简洁的摘要来促进大规模浏览视频，这些摘要是多种多样的，并且代表了原始视频。在本文中，我们规定视频摘要作为一个顺序决策过程，并开发一个深度摘要网络（DSN）来总结视频。DSN为每个视频帧预测概率，该概率表示帧被选择的可能性，然后基于概率分布来选择帧，从而形成视频摘要。为了训练我们的DSN，我们提出了一个端到端的，基于强化学习的框架，在这个框架中，我们设计了一个新颖的奖励函数，共同解释生成的摘要的多样性和代表性，并且不依赖标签或用户交互。在训练期间，奖励功能函数评定怎样展示所生成的摘要的多样性和代表性，而DSN通过学习产生更多样化和更具代表性的摘要来努力获得更高的回报。由于标签不是必需的，我们的方法可以完全不受监督。对两个基准数据集进行的大量实验表明，我们的无监督方法不仅胜过了其他最先进的无监督方法，而且与大多数已发布的监督方法相比甚至更胜一筹。
Introduction
       在近年来在线视频数量呈指数级增长的推动下，视频摘要研究日益受到关注，因此提出了各种方法来促进大规模视频浏览。(Gygli et al.2014; Gygli, Grabner, and Van Gool 2015; Zhang et al.2016a; Song et al. 2015; Panda and Roy-Chowdhury 2017;Mahasseni, Lam, and Todorovi