LLNET意义
LLNET是第一个真正意义上将深度学习应用在图像增强上的网络。其算法在现在看来比较基础,适合初接触图像增强领域的人阅读、实践。
摘要
文章提出了了一个基于深度自编码的方法提取图像特征,并适当增强图片亮度。
数据预处理
论文中的图像数据来源于网络上的开源数据集,将原始的数据集划分为训练集和测试集。
训练集的数据从图像中提取了422500个点,然后将这些图像像素数据归一化到[0,1]区间中。原始的图像是正常光照下的,论文这里是采用matlab中的-imadjust将图像进行伽马非线性调暗。
进行伽马调暗的公式如下:
当γ小于1时,图片变亮;
当γ等于1时,图片不变;
当γ大于1时,图片变暗。
为了模拟自然拍摄情况下低质量的图片,图像数据进行了添加高斯噪音的处理。这里使用MATLAB中的imnoise实现。
高斯噪音处理公式如下:
这里的g代表上文中的伽马调暗函数,n是噪音函数。
网络结构
从这张模型图里可以看出,网络并不复杂,甚至可以用简陋来形容。作者在这里提出了两种网络,LLNet是将亮度低并且含有噪声的图片输入编解码器中进行训练。S-LLNET则用亮度低的图片和含有噪声的图片分别训练了SSDA模块并将两个模块连接起来。
网络中,每个DA的损失函数如下所示:
其中,N是patch数,θ是模型参数矩阵,λ、β、是交叉验证的参数,KL是散度函数,用于计算隐藏层中的稀疏性:
整个SSDA的损失函数如下所示:
模型评估
作者在论文里引入了两个性能度量指标PSNR和SSIM。
PSNR
PSNR量化含有噪声图像的失真程度,PSNR值越大,图片的降噪效果越好,其计算方法如下:
SSIM
SSIM被用来评价两幅图片的相似相似度,
其他
作者通过实验得到,增加DA层的数量可以提升网络的性能,但是减小padding stride的尺寸并不能提升网络性能。