CVPR 2021 | 港科大：如何利用闪光图像(flash image)来去除反光？

作者丨lam lau@知乎

来源丨https://zhuanlan.zhihu.com/p/358337679

编辑丨深话AI

后台回复：0322 ，即可下载本文论文PDF和代码

本文是港科大陈启峰老师组的一篇文章，不得不说，从learning to see in the dark到现在，陈老师组做的底层视觉的相关工作都对我很有启发。

大家做计算机视觉应该知道，计算机视觉任务大致可以分为高层（检测，分类），中层（语义分割）和底层（超分辨率..）的任务。越偏向高层的任务越需要语义的信息和人的理解，越底层的任务越注重边缘，纹理之类local的细节。其实高层任务也有偏底层的任务，如单目标跟踪（tracking）。底层任务也有需要语义理解的，今天介绍的去反光（reflection removal）就是一个。

我们平时透过玻璃看外面的风景的时候，因为玻璃的反射，所以不可避免的会有反光内容的干扰，这些反光的内容各种各样，有的情况反光强烈的时候连人都无法辨别哪些内容是反光，哪些是真实的物体信息。

因此就需要引入一些外部信息来帮助我们。最常见是采用偏光镜技术，也有一些对应的论文。但是偏光镜技术会造成颜色偏移。去年cvpr，brown组有一篇用dual pixel技术来做的。

至于用闪光图像来辅助做的，去年有一篇文章。

Siamese dense network for reflection removal with flash and no-flash image pairs. IJCV, 2020

这篇文章就是对IJCV这篇文章更进一步的探讨。

一. 理论部分：

图1 用闪光灯拍照的三种情况

我们先分析一下论文中的这张图像吧。先看图（a），蓝色矩形是玻璃后的物体，红色圆形是反射的物体。（a）就是不开闪光的时候，因为有环境光的存在（ambient light），所以相机接收到了蓝色矩形和红色圆形的信息。我们用代替吧

再来看（c）当有闪光灯和环境光的时候，因为闪光灯是有方向性的（对着蓝色物体射）,因此反光灯的光只是照着蓝色物体，这样进入相机的信息就有了三个：环境光对着蓝色矩形，环境光对着红色圆形，反光灯对着蓝色矩形：所以总的光是。

然后我们发现了什么?  就是剩下闪光灯对着蓝色物体的光了（图（b））。也就是说，这两个图像一减，红色圆形/反光的物体，就从相机中消失了！是不是很神奇？

可是理论很丰满，现实很骨感。科学家把这个图像拿出来一看，发现偏色的厉害T_T, 看下面那个图的Flash only image，就相当于图1（b），原图则是下图的our transmission。可能的原因是跟闪光灯的曝光和环境光的不同等的有关系。

图2

但是这个flash-only image吧，肯定可以作为一个线索来帮助去反光的。因为他的图都已经没有反光了，只是有一点色偏。

二. 工程部分：

图3

图三就是整个网络的结构，（a）就是我们第一部分说的如何得到，也就是flash-only image的过程。（b）则是利用flash-only image，用神经网络训练去除反光的过程。

论文里的图有点迷惑，我看的时候有点懵，具体看我标的红线和蓝色线。

提几个要点吧，具体的可以去看论文:

1.（a）中可以看出，我们获得的两张图的相减是在raw域进行的。然后用isp变回rgb域。flash-only image图的白平衡其实是做的不太对的，因为他采用了另外一张图的meta-data。

2. 图（b）说的是，先预测一个反射的反光图  ，再预测去反射后的图像。至于为啥不直接预测图像。文章中有说明白，这里限于篇幅不阐述。

三. 缺点和优点：

文章中作者自己就说了缺点，

1. 相机假如离拍摄物体比较远，闪光灯的灯到不了拍摄物体，这时候得到的flash-only image可能就是一团黑的。

2. 物体快速移动的时候，两张图像会不一样，这个缺点是所有多帧图像处理都有的缺点吧。

优点:

优点不必多说，有理论创新有工程方法创新。之前说过最佩服的是用硬件和软件结合做底层图像处理的方法。看了一下作者的主页，他们团队在去反光技术上也有很多的积累了，这篇这么solid的文章不得中cvpr啊。

本文论文PDF和代码下载

后台回复：0322 ，即可下载本文论文PDF和代码

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~