项目官网:http://vllab.ucmerced.edu/wlai24/video_consistency/
最近在做关于antibanding,视频去闪烁方面,这篇论文比较新,效果也不错。精读一遍
摘要:
当对视频进行操作时,若不考虑帧与帧之间的关系,只对单张图像进行例如风格迁移、上色、超分辨率处理等等,会造成视频结果的不连贯,出现闪烁,这个论文提出了一种方法,可以无视图像处理的方法,直接解决视频不连续问题。
论文亮点:
1.用卷积LSTM有效的去除了视频中的闪烁,并且在测试的时候不需要预计算的光流或是帧之间的关系,因此可以做到实时,(亲测不能实时)
2.提出了减少长短期的时序性loss,改善时序稳定,并且使用了perceptual loss来维持内容的不变性
3.用一个模型解决好多种不同图像处理情况,鲁棒性好
值得注意的是Image Transformation学习出来的是 Ot和Pt的残差,类似resnet的思想,Ot = Pt + 学习到的残差。
手画模型,比较丑:后期再补大图
transformation network
论文特点:通过优化三个loss:short-term loss 、long-term loss、perpetual loss来达到目的。
其中长期损失是第0帧和第二帧以及之后的算出的loss