2021-06-21 IQA

图像质量评估（Image Quality Assessment, IQA)

　　可以从主观和客观两个角度对图像的质量进行评估，一般以客观角度为主，不同角度可能会导致结果不一致。

　　客观IQA根据使用参考图像情况不同，主要分为三类：full-reference; reduced-reference; no-reference

　　下面介绍集中主要的IQA。

　　峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)

　　是目前最受欢迎的对有损变换的重建质量评估之一　　

　　𝑃𝑆𝑁𝑅=10𝑙𝑜𝑔10(𝐿21𝑁∑𝑁𝑖=1(𝐼(𝑖)−𝐼ˆ(𝑖))2)PSNR=10log10(L21N∑i=1N(I(i)−I^(i))2),𝐿L为像素可达到的最大值。

　　缺点是仅考虑了像素级别的均方差，没有考虑视觉角度。

　　结构相似度（Structural Similarity, SSIM）

　　从亮度、对比度和结构三个角度对图像质量进行独立的评估，更接近人眼视觉。

　　𝜇𝐼=1𝑁∑𝑁𝑖=1𝐼(𝑖)μI=1N∑i=1NI(i)

　　𝜎𝐼=1𝑁−1∑𝑁𝑖=1((𝐼(𝑖)−𝜇𝐼)2)12σI=1N−1∑i=1N((I(i)−μI)2)12

　　𝐶𝑙(𝐼,𝐼ˆ)=2𝜇𝑖𝜇𝐼ˆ+𝐶1𝜇2𝐼+𝜇2𝐼ˆ+𝐶1Cl(I,I^)=2μiμI^+C1μI2+μI^2+C1

　　𝐶𝑐(𝐼,𝐼ˆ)=2𝜎𝑖𝜎𝐼ˆ+𝐶2𝜎2𝐼+𝜎2𝐼ˆ+𝐶2Cc(I,I^)=2σiσI^+C2σI2+σI^2+C2

　　𝐶1=(𝑘1𝐿)2,𝐶2=(𝑘2𝐿)2C1=(k1L)2,C2=(k2L)2,其中𝑘1,𝑘2⋘1k1,k2⋘1用于避免不稳定

　　𝜎𝐼𝐼ˆ=1𝑁−1∑𝑁𝑖=1(𝐼(𝑖)−𝜇𝐼)(𝐼ˆ(𝑖)−𝜇𝐼ˆ)σII^=1N−1∑i=1N(I(i)−μI)(I^(i)−μI^)

　　𝐶𝑠(𝐼,𝐼ˆ)=𝜎𝐼𝐼ˆ+𝐶3𝜎𝐼𝜎𝐼ˆ+𝐶3Cs(I,I^)=σII^+C3σIσI^+C3

　　𝑆𝑆𝐼𝑀=[𝐶𝑙(𝐼,𝐼ˆ)]𝛼[𝐶𝑐(𝐼,𝐼ˆ)]𝛽[𝐶𝑠(𝐼,𝐼ˆ]𝛾SSIM=[Cl(I,I^)]α[Cc(I,I^)]β[Cs(I,I^]γ

　　平均主观意见分（Mean Opinion Score, MOS）

　　常用的主观IQA，由人来给图像评分，1~5表示从坏到好，最后取平均。

　    缺点：评分标准的偏差和方差以及尺度都是非线性感知的【？】

　　基于学习的感知质量（Learning-based Perceptual Quality）

1. No-reference Ma, NIMA：根据主观视觉分数
2. DeepAQ：预测视觉相似性
3. LPIPS：根据深层特征的差异评估perceptual image patch similarity(LPIPS)

　　训练网络对图像的质量进行预测，目前的主要问题是我们所需要哪些视觉特征仍未知。

　　基于任务（Task-based Evaluation）

　　SR任务可以作为其他任务的基础，提升其他任务的表现。因此可以根据其他任务的表现对SR任务进行评估

　　其他

　　MS-SSIM， 多尺度SSIM

　　FSIM, feature similarity

　　NIQE, Natural Image Quality Evalutor