这篇paper存了好久,一直没有看。今天补了
What:
看了这个youtube视频就可以感受到了。视频上做Artist Style十分酷炫!
https://www.youtube.com/watch?v=Khuj4ASldmU
看前的问题:
我自己写过单帧的Artist Style (https://github.com/layumi/2016_Artist_Style)
但在视频上应用Artist Style。问题是,如果按照原来单帧 一帧帧处理的话,会出现视频不smooth的情况 (闪烁/不连续)
因为每一帧的随记初始化都是不同的,导致两帧之间没有关系。
另外,如果做smooth的话,最好还是要加入物体的分割(因为一般同一个东西他的运动是一致的)
How:
每两帧之间引入了一个时间限制(temporal constraint)
这个时间限制考虑了原视频的光流特征(点的轨迹) , 而不是前一帧的结果 (作者中老板位Brox是光流的大牛啊!!!有一个光流方法就叫Brox,好像也是malik的学生)
只重建那些移动了的区域,保留剩余的地方。
我们假定
p_i为原始视频中第i帧的图像,
a 为要模仿艺术风格的图片,
x_i 为我们要得到的风格迁移后的第i帧图像,
x'_i 为第i帧的初始化图片