Semantically Contrastive Learning for Low-light Image Enhancement 论文阅读笔记

最新推荐文章于 2023-12-17 23:00:49 发布

ssf-yasuo

最新推荐文章于 2023-12-17 23:00:49 发布

阅读量1.7k

点赞数 4

分类专栏：论文阅读笔记文章标签：深度学习计算机视觉人工智能

本文链接：https://blog.csdn.net/weixin_44326452/article/details/126560750

版权

155 篇文章 35 订阅

订阅专栏

在这里插入图片描述

这是AAAI2022的一篇无监督暗图增强论文

introduction中提到一个重要观点：前景和背景的增强策略需要区别对待，而语义信息可以辅助进行区域的辨别，从而有利于统一物体区域内部的亮度一致性（我的理解是，其实也和空间、景深有关，在简单的光源分布下相同景深相邻区域的物体通常具有相同的照度，而同一物体区域内的像素通常具有相同的景深，并且一般还有相近的颜色，从而具有相近的亮度）。
文章的贡献之一是提出了一个semantic brightness consitency loss，可以利用高层任务的监督提高底层任务的效果，并且增强结果在高层任务上也有准确率上的提升。
网络分为三个模块和三个损失，三个模块分别是增强模块（Unet结构，Zero-DCE曲线预测）、语义分割模块（DeepLabv3+）和特征提取模块（VGG16）；三个损失分别是对比学习损失、semantic brightness consitency loss和特征保留损失。

对比学习部分

对比学习所用的正例是正常光照图片，负例是过曝和欠曝光图片，并且全部是不成对的。通过pull增强结果与正例之间的距离和push增强结构与负例之间的距离来训练增强网络。计算距离所用的特征是图片经过VGG16提取的各层特征（也就是说每层卷积产生的特征图都要用到）进行进一步计算自相关的结果，比如A图的第 $l$ 层特征各有 $C$ 个通道，那么每两个通道之间算内积可以得到一个自相关矩阵，大小为 $C\times C$ ，这个矩阵就是 $G_l$ ，VGG一共有 $L$ 层，所以就有 $L$ 个自相关矩阵。将增强结果的自相关矩阵集合与正例的自相关矩阵集合、负例的自相关矩阵集合之间算一个triple loss，d是距离函数
训练的时候，从SICE数据集的Part部分选取360张正常曝光的图片、360张欠曝光的图片、360张过曝光的图片，并在训练过程中随机匹配。