《Learning Temporal Consistency for Low Light Video Enhancementfrom Single Images》解读

                                        《从单个图像学习低光视频增强的时间一致性》

Motivation:作者认为一 一对应的视频数据集太难获取,有以下两点:

 在这个基础上,作者提出了一种利用单图像通过预测光流的办法,来保证视频增强过程中的时序一致性方法。侧面说明,作者的这个算法只需要图像就可以训练,然后增强暗光视频。

通过对单图像的光流预测,可以利用单图像和光流融合,得到下一帧信息(有没有大佬这里看懂了,预测光流,你怎么知道图像中的对象的下一步动作??这不是猜嘛,不严谨啊!)。

接下来看算法架构(这个论文写作乱的一),

 左侧(a) optial flow prediction  , 右侧(b) Training and Testing。

(a) optial flow prediction :

首先利用Detectron2对ground truth进行对象实例分割(作者认为分割过程中,总有一些点会产生运动,把这些运动的点随机选取十个,当作指导向量,用于CMP算法中的运动预测),然后对分割出的对象进行掩膜操作,得到掩膜后的图像,此时有2张图像,ground truth 和 masked image,两个图像放入CMP[1]算法中,估计光流。那么CMP是怎么估计光流的

接下来介绍一下CMP算法:

CMP算法:给予图像中对象几个指导向量,算法可以给出下一步的对象运动图。(所以结合(a)optial flow prediction 阶段,通过对图像中对象的实例分割产生几个向量,就表示下一步对象的运动,然后把ground truth 和 masked image放入到CMP算法,就可以得到光流了。)

[1] Xiaohang Zhan, Xingang Pan, Ziwei Liu, Dahua Lin, and Chen Change Loy. Self-supervised learning via conditional motion propagation. In Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR), 2019. 3, 5  《基于运动分析的无监督学习》

f是optial flow, y是image, V是y上的指导向量。

Figure 2 分为3个步骤,细节如下:

分水岭算法将图像看作是地形学上被水覆盖的自然地貌,图像中的每一像素的灰度值表示该点的海拔高度,其每一个局部极小值及其影响区域称为集水盆地,两个集水盆地的边界则为分水岭。 (图像分割经常用)

 (b) Training and Testing:

第二个阶段是一个孪生网络,为的是利用第一阶段生成的光流,来保证视频时序一致性。

第一层:输入ground truth y1 经过伽马变换和高斯泊松噪声模型,得到近真实弱光图像x1 然后经过一个U-net 得到outpu:g(x1) 。g(x1) 与 y1 计算loss(保证弱光图像的增强)。

第二层:x1 和 第一阶段得到的光流图,经Warping操作,得到x2:

 然后x2 经过U-net,得到Output,g(x2), 此时需要g(x1),g(x2)做一个时序性Loss, 然后g(x2)再和y2(y1和光流做Warping操作)做Loss。

接下来是Loss Function :

lamdba 的消融实验。看天空差距

 介绍一下评价视频的几个指标:

 最后是如何合成的x1:

 

结束。 

 

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

参与评论 您还未登录,请先 登录 后发表或查看评论
©️2022 CSDN 皮肤主题:1024 设计师:我叫白小胖 返回首页

打赏作者

霓虹甜心z

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值