图像处理学习笔记

本笔记以个人博客的形式发布，一是方便自己的学习，加深自己对知识的认识，另一方面是希望可以和研究这方面的朋友进行交流。如有错漏之处，敬请指正。

一、卷积神经网络

**模型结构：**输入图（input layer）、卷积层（convolutional layer）、池化层（pooling layer）和输出层（全连接层+softmax layer）

1.卷积层

卷积目的：进行图像特征提取
卷积特性：拥有局部感知机制；权值共享
卷积核的channel与输入特征层的channel相同，如输入特征矩阵是三维的，那么卷积核也要是三维的。输出的特征矩阵channel与卷积核个数相同，如卷积核使用了2个，那么输出特征矩阵的深度就为2。

2.池化层（对卷积层输出的特征图进一步特征抽样）

目的：对特征图进行稀疏处理，减少数据运算量。
MaxPooling下采样层，取最大。
AveragePooling下采样层，取平均。
特点：没有训练参数；只改变特征矩阵的w和h，不改变channel；一般poolsize和stride相同。

3.Cross Entropy Loss交叉熵损失

1）针对多分类问题（softmax输出，所有输出概率和为1）
2）针对二分类问题（sigmoid输出，每个输出节点之间互不相干）

4.卷积核是如何将结果映射到卷积层的？

卷积核在滑动过程中做的卷积运算就是卷积核w与其所覆盖的区域的数进行点积，最后将结果映射到卷积层。

5.超参数的设置：padding

1）就是为了保持边界信息，倘若不填充，边界信息被卷积核扫描的次数远比不是中间信息的扫描次数，这样就降低了边界信息的参考价值了。
2）有可能输入图片的尺寸参差不齐，通过Padding来使所有的输入图像尺寸一致，避免训练过程中没必要的错误。

二、评价指标

1.SSIM

结构相似性指标，是一种用于测量两个图像相似度的指标。它是一种全参考指标，意味着它需要与参考图像进行比较。SSIM指标基于图像的结构信息，包括亮度、对比度和结构等因素，因此对于图像的质量评估比一般的像素差异度量更为准确。SSIM的取值范围是-1到1，取值为1表示两个图像完全相同，取值为-1表示两个图像完全不同。在

2.PSNR

峰值信噪比，是一种用于评估数字图像或视频质量的指标。它是一种全参考指标，需要使用参考图像与待评估图像进行比较。PSNR计算的是两幅图像的峰值信号能量与它们之间的均方误差（MSE）之间的比率，这个比率越大，说明两幅图像的相似度越高，即质量越好。PSNR通常使用dB（分贝）作为单位，它的取值范围是0到无穷大，值越大表示图像质量越好。

3.MS-SSIM

多尺度结构相似性指标，是在SSIM指标基础上发展而来的一种全参考图像质量评估指标。与SSIM只考虑单一尺度的图像结构信息不同，MS-SSIM考虑了多个尺度的结构信息，可以更加准确地反映图像的质量。具体来说，MS-SSIM先将原始图像通过高斯滤波器分解成不同尺度的图像，然后计算每个尺度下的SSIM指标，并将它们加权平均得到最终的MS-SSIM值。MS-SSIM的取值范围也是-1到1，取值为1表示两个图像完全相同，取值为-1表示两个图像完全不同。相较于PSNR和SSIM指标，MS-SSIM更能够反映人类对图像质量的感知，因此在图像压缩、去噪、超分辨率等领域的应用也更加广泛。