阅读小结: Artist style transfer for videos

本文介绍了如何在视频中实现艺术家风格转移,通过引入时间限制解决帧间不平滑问题。作者利用光流特征确保相邻帧一致性,并提出短期、长期一致性和多遍优化算法,以处理遮挡和边缘变化,实现视频风格的连续转换。
摘要由CSDN通过智能技术生成

这篇paper存了好久,一直没有看。今天补了


What:

看了这个youtube视频就可以感受到了。视频上做Artist Style十分酷炫!

https://www.youtube.com/watch?v=Khuj4ASldmU


看前的问题:

我自己写过单帧的Artist Style (https://github.com/layumi/2016_Artist_Style)

但在视频上应用Artist Style。问题是,如果按照原来单帧 一帧帧处理的话,会出现视频不smooth的情况 (闪烁/不连续)

因为每一帧的随记初始化都是不同的,导致两帧之间没有关系。

另外,如果做smooth的话,最好还是要加入物体的分割(因为一般同一个东西他的运动是一致的)


How:

每两帧之间引入了一个时间限制(temporal constraint)

这个时间限制考虑了原视频的光流特征(点的轨迹)  , 而不是前一帧的结果  (作者中老板位Brox是光流的大牛啊!!!有一个光流方法就叫Brox,好像也是malik的学生)

只重建那些移动了的区域,保留剩余的地方。


我们假定  

p_i为原始视频中第i帧的图像,

a 为要模仿艺术风格的图片,

x_i 为我们要得到的风格迁移后的第i帧图像,

x'_i 为第i帧的初始化图片


  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Layumi1993

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值