《Learning to See Moving Objects in the Dark》解读

[1] Jiang H ,  Zheng Y . Learning to See Moving Objects in the Dark[C]// 2019 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE, 2019.(南加州大学)

论文架构:利用一个novel optical co-axis system 获取SMOID Dataset,利用3D-convolation 为了保证图像每帧的时序性和防止2D convolation 造成的闪烁问题 对视频/图像进行增强。

 Fig 1就是介绍一下NIR(近红外)会造成纹理消失现象,在以往的红外摄像头上。

 接下来,进入文章主要内容,  novel optical co-axis system :

 Relay Lens (增距镜):增加相机焦距

Beam Splitter: 分束器,为了接下来获得Ground truth and dark images

Camera1(Bright ):获得正常光,即ground truth。

ND Filter: 即减光镜,控制光的入射量并保证无损色调。

Camera2(Dark):获得Dark images 

    对这些清晰的图像对应用同源特征匹配(homography feature matching)操作,以获得最优的几何映射,其中对齐后的差异是两个相机视野之间的最小值。所有明亮的视频都进行了相应的转换,以加强视频对之间的像素级严格的对应关系。

利用同源特征性匹配,保证两个图像的对齐。

这里给的图像效果很差很差。

接下来是network

 与SID相同,最后都使用的sub-pixel convololation,进行上采样。

刚开始即是对Raw images 的packing , 高、宽缩减成一半,然后通道由1个,变为4个,既2个green,1个red,1个blue,然后进行一个线性缩放,缩成之前的1/5,丢进网络中去。

Figure5 展示了smoid算法和sid、mallven算法的对比。

[1]Feifan Lv, Feng Lu, Jianhua Wu, and Chongsoon Lim. MBLLEN: low-light image/video enhancement using cnns. In British Machine Vision Conference 2018, BMVC 2018 

其实肉眼看上去,效果更好的是mbllen算法,但是算法对比度较强,模糊。

对比试验太少了,太少了。

 Figure7 就是说smoid产生的图像的btightness 更接近ground truth。

PSNR和SSIM值。

 作者用MABD来评价亮度差

 

 our result 更接近ground truth。we

文章的图片太少了,很难评价他的效果,视频展示的也很少,而且有一个地方,会产生车灯的眩光,影响很大,可以参考2021 CVPR的一篇文章,就是去炫光的。 

 

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 1024 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值