MBLLEN: Low-light Image/Video Enhancement Using CNNs--论文阅读笔记

最新推荐文章于 2024-04-30 01:49:59 发布

zeronose

最新推荐文章于 2024-04-30 01:49:59 发布

阅读量1.5k

点赞数 1

分类专栏：论文阅读文章标签：神经网络深度学习计算机视觉

本文链接：https://blog.csdn.net/zeronose/article/details/115254079

版权

论文阅读专栏收录该内容

12 篇文章 3 订阅

订阅专栏

论文地址
 项目地址

Introduction
这是一篇低光照图像增强的文章，提出了一个新的微光图像增强方法 - - 多分支弱光增强网络（MBLLEN），其核心是完全卷积神经网络。该算法由特征提取模块、增强模块和融合模块三类模块组成。此外该方法还可以应用于视频的低光照处理上。
其思想是：1）通过FEM方法提取不同层次的丰富特征，2）分别通过EM增强多层次特征，3）通过FM多分支融合获得最终输出。通过这种方式，MBLLEN能够从不同方面提高图像质量，并能最大限度地完成微光增强任务。
Contribution
•1）提出了一种基于深度神经网络的微光图像增强方法。提高了图像的主客观质量。
•2）我们的方法在抑制低光区域的图像噪声和伪影方面也有很好的效果。
•3）我们的方法可以直接扩展到利用时间信息处理弱光视频。
Network Architecture

如图2所示，所提出的MBLLEN由三种模块组成：特征提取模块(FEM)、增强模块(EM)和融合模块(FM)。
FEM 它是一个具有10个卷积层的单流网络，每个层使用大小为3×3的内核、步长为1和非线性的RELU，没有池化操作。输入到第一层的是彩色图像。每个层的输出既是对下一层的输入，也是对EM相应子网的输入。
EM 它包含多个子网，其数量等于FEM中的层数。子网的输入是FEM某一层的输出，并且输出是一个与原始低光图像相同大小的彩色图像。每个子网都有一个对称的结构，首先应用卷积，然后应用反卷积。第一个卷积层使用了8个大小为3×3的内核，步长为1，非线性的RELU。然后，有三个卷积层和三个反卷积层，使用核大小5×5、步长为1和非线性ReLU，核数分别为16、16、16、16、8和3。请注意，所有子网都是同时训练的，但单独训练，而不共享任何学习参数。
FM 它接受所有EM子网的输出，以产生最终增强的图像。我们将来自EM的所有输出的所有输出连接起来，并使用1×1卷积核将它们合并。这等于具有可学习权重的加权和。
Loss Function

总的LOSS：

Structure loss 这种损失是为了提高输出图像的视觉质量而设计的。

Context loss 借鉴了SRGAN中的损失函数，利用VGG网络中的某一层来计算内容损失。

Region loss 40%最暗像素为low_light区域。
Result

5.Experiment
Conclusion
本文提出了一种新的基于CNN的低光增强方法。现有的方法通常依赖于某些假设，并经常忽略其他因素，如图像噪声。为了解决这些挑战，我们的目标是训练一个强大和灵活的网络来更有效地解决这一任务。我们的网络由FEM、EM和FM三个模块组成。它旨在能够从FEM中的不同层中提取丰富的特征，并通过EM中的不同子网增强它们。通过FM融合多分支输出，它可以产生高质量的结果，并大大优于最先进的水平。还可以对网络进行修改，有效地处理低光视频。