动漫风格迁移 I2I 论文阅读笔记——Comixify transform video into a comics

Comixify transform video into a comics论文阅读笔记

发表于2018.

官方app：http://comixify.ii.pw.edu.pl

本人的话：我感觉看了一篇大创的水论文。。。。。

介绍

我们提出了一种video comixification技术，它分为两步：1）提取帧。从视频中提取部分可以表达视频完整意思的帧，同时这些帧在视觉上吸引人。我们使用了一个基于强化学习的关键帧提取算法，它另外结合了时间分割方法和图像美学评估。2）风格迁移。我们将提取的关键帧转化为连环画风格。如下图所示：

相关工作

关键帧提取

关键帧提取(keyframe extraction)的任务类似于视频摘要（video summarization）。近年来，视频摘要任务的基准数据集得到完善，比如SumMe、TVSum等。
有研究使用LSTM来建模得到视频帧在可变范围内时间依赖关系，从而得到具有代表意义且紧凑的视频摘要。
后来，视频摘要任务引入了GAN，它由summarizer和discriminator组成。summarizer通过一个自动编码器LSTM网络构成，它的目标是筛选视频帧，然后解码获得的视频帧再生视频。discriminator是判别video是fake or real的LSTM。
接着，基于强化学习的端对端的网络被用到了视频摘要任务，他们设计了一个奖励函数来帮助提高生成摘要的多样性和代表意义。
大量实验表明非监督学习的方法明显优于监督学习。
我们的模型使用了关键帧提取并额外引入了美学评估。

在content popularity estimation领域，像分析用户访问模式与流行度的关系，预测高峰流行时间或者流行进化模式的预测方式都有不少研究。Khosla提出了在popularity预测的背景下使用视觉提示。SVM（支持向量机）的作者使用了一个DNN。另外还有研究使用了RNN。

图像质量评估也是很热门的话题。用于美学视觉分析的大型数据集有AVA、TID2013。许多研究表明使用CNN可以提取高质量的特征。Talebi提出了基于distribution of human opinion scores的预测方法，他们使用squared EMD(earth mover’s distance)损失函数