“Learning Blind Video Temporal Consistency”视频去闪烁(anti banding、flicker)论文解读

项目官网:http://vllab.ucmerced.edu/wlai24/video_consistency/
最近在做关于antibanding,视频去闪烁方面,这篇论文比较新,效果也不错。精读一遍

摘要:
当对视频进行操作时,若不考虑帧与帧之间的关系,只对单张图像进行例如风格迁移、上色、超分辨率处理等等,会造成视频结果的不连贯,出现闪烁,这个论文提出了一种方法,可以无视图像处理的方法,直接解决视频不连续问题。
论文亮点:
1.用卷积LSTM有效的去除了视频中的闪烁,并且在测试的时候不需要预计算的光流或是帧之间的关系,因此可以做到实时,(亲测不能实时)
2.提出了减少长短期的时序性loss,改善时序稳定,并且使用了perceptual loss来维持内容的不变性
3.用一个模型解决好多种不同图像处理情况,鲁棒性好
在这里插入图片描述
在这里插入图片描述
值得注意的是Image Transformation学习出来的是 Ot和Pt的残差,类似resnet的思想,Ot = Pt + 学习到的残差。

手画模型,比较丑:后期再补大图
在这里插入图片描述
transformation network
在这里插入图片描述

论文特点:通过优化三个loss:short-term loss  、long-term loss、perpetual loss来达到目的。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
其中长期损失是第0帧和第二帧以及之后的算出的loss
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值