SSIM论文翻译

论文地址：https://ece.uwaterloo.ca/~z70wang/publications/ssim.pdf

图像质量评估:从错误可见性到结构相似性

摘要：传统上，评价感知图像质量的客观方法试图利用人类视觉系统的各种已知属性，量化失真图像和参考图像之间的误差的可见性。在假定人类视觉感知高度适应从场景中提取结构信息的前提下，我们引入了一种基于结构信息退化的质量评估框架。作为这个概念的一个具体例子，我们开发了一个结构相似度索引，并通过一组直观的例子展示了它的前景，并在JPEG和JPEG2000压缩图像数据库上与主观评分和最先进的客观方法进行了比较。

关键词：错误敏感性、人类视觉系统(HVS)、图像编码、图像质量评估、JPEG、JPEG2000、感知质量、结构信息、结构相似性(SSIM)。

1 简介

数字图像在采集、处理、压缩、存储、传输和复制过程中会发生各种各样的失真，其中任何一种都会导致视觉质量的下降。在图像最终要被人类观看的应用中，唯一“正确”的量化视觉图像质量的方法是通过主观评价。然而，在实践中，主观评价通常太不方便，耗时和昂贵。客观图像质量评价研究的目标是开发能够自动预测感知图像质量的定量方法。

客观的图像质量度量在图像处理应用中发挥着多种作用。首先，它可以用于动态监控和调整图像质量。例如，网络数字视频服务器可以检查正在传输的视频质量，以便控制和分配流资源。其次，它可以用来优化图像处理系统的算法和参数设置。例如，在视觉交流系统中，质量度量可以帮助优化编码器的预滤波和位分配算法，以及解码器的最佳重构、错误隐藏和后滤波算法。第三，它可以用于图像处理系统和算法的基准测试。

客观图像质量指标可以根据原始(无失真)图像的可用性进行分类，并与失真图像进行比较。大多数现有的方法被称为全参考，这意味着一个完整的参考图像被假定是已知的。然而，在许多实际应用中，参考图像是不可用的，而无参考或“盲”质量评估方法是可取的。在第三种方法中，参考图像只是部分可用的，以一组提取的特征作为侧面信息的形式提供，以帮助评估扭曲图像的质量。这被称为降低参考质量评估。本文主要研究全参考图像质量评价。

最简单和最广泛使用的全参考质量度量是均方误差(MSE)，它是通过对失真和参考图像像素的强度差的平方以及相关的峰值信噪比(PSNR)进行平均计算得出的。它们之所以吸引人，是因为它们计算简单，具有明确的物理含义，并且在优化环境中在数学上很方便。但他们不是很匹配感知的视觉质量(例如，[1]-[9])。在过去的三十年里，人们投入了大量的精力来开发利用人类视觉系统(HVS)已知特征的质量评价方法。大多数提出的感知质量评估模型都遵循修改MSE度量的策略，以便根据其可见性对错误进行惩罚。第二节总结了这种类型的错误敏感性方法，并讨论了其困难和局限性。在第三节中，我们描述了一种新的质量评估范式，基于HVS高度适应于提取结构信息的假设。作为一个具体的例子，我们开发了一种结构相似度的度量方法，该方法比较了经过亮度和对比度标准化的像素强度的本地模式。在第四节中，我们将不同质量评估模型的测试结果与收集的344张JPEG和JPEG2000压缩图像数据库的大量主观评分进行了比较。

2 基于误差灵敏度的图像质量评估

可以将其质量被评估的图像信号看作是未失真的参考信号和误差信号的和。一个被广泛采用的假设是，感知质量的损失与错误信号的可见性直接相关。这个概念最简单的实现是MSE，它客观地量化了误差信号的强度。但是，具有相同MSE的两个失真图像可能有非常不同类型的误差，其中一些误差比其他的要明显得多。文献中提出的大多数感知图像质量评估方法都试图根据误差信号的可见性来衡量误差信号的不同方面，这是由人的心理物理测量或动物的生理测量确定的。这种方法是由Mannos和Sakrison[10]首创的，多年来已经被许多其他研究人员扩展。关于图像和视频质量评估算法的评论可以在[4]，[11]-[13]中找到。

A.框架

图1说明了基于误差敏感性的通用图像质量评估框架。大多数感知质量评估模型可以用一个相似的图来描述，尽管它们在细节上有所不同。图的各个阶段如下:

图1 基于误差敏感性的原型质量评估系统。注意，CSF特性可以作为一个单独的阶段(如图所示)实现，也可以在“错误归一化”中实现。

预处理。这一阶段通常执行各种基本操作，以消除比较图像中的已知失真。首先，对失真和参考信号进行适当的缩放和对齐。第二，信号可能被转换到一个颜色空间(例如，[14])，这是更适合HVS。第三，质量评估指标可能需要通过逐点非线性变换将存储在计算机存储器中的数字像素值转换为显示设备上像素的亮度值。第四，模拟眼光学的点扩展函数的低通滤波器。最后，利用非线性点操作对参考点和畸变图像进行修正，模拟光适应。

CSF滤波器。对比敏感度函数(CSF)描述了HVS对视觉刺激中出现的不同空间和时间频率的敏感度。一些图像质量度量包括一个根据这个函数加权信号的阶段(通常使用可接近 CSF频率相应的线性滤波器实现)。然而，许多最近的指标选择将CSF作为通道分解后的基础敏感性归一化因子。

通道分解。图像通常被分割成子带(在物理学文献中通常称为“通道”)，对空间和时间频率以及方向有选择性。虽然一些质量评估方法实现了复杂的信道分解，这些被认为与初级视觉皮层[2]，[15]-[19]的神经反应密切相关，但许多指标使用更简单的变换，如离散余弦变换(DCT)[20]，[21]或可分离小波变换[22]-[24]。调谐到不同时间频率的信道分解也被用于视频质量评估[5]，[25]。

错误归一化。每个通道中分解参考图像和失真信号之间的误差（差异）被根据一定的掩蔽模型计算和规范化,它考虑到这一事实，即一个图像分量的存在会降低在空间或时间位置、空间频率或方向上接近的另一个图像分量的可见性。归一化机制通过空间变化的可见性阈值[26]对通道中的错误信号加权。每个点的可见性阈值是根据参考和/或一个邻域的扭曲系数(可能包括来自同一信道的空间邻域以及其他信道的系数)的能量和该信道的基础灵敏度计算的。归一化过程的目的是将误差转换为仅可见差异(JND)的单位。一些方法也考虑了对比反应饱和度的影响(例如，[2])。

错误池化。所有质量度量的最后一个阶段必须将图像空间范围内的归一化误差信号和跨越不同通道的误差信号合并为一个单一值。对于大多数质量评估方法来说，池化可采用闵可夫斯基规范的形式:

式中，$e_{l,k}$为第$l$个通道中第$k$个系数的归一化误差，$\beta$为常指数，通常选择在1到4之间。闵可夫斯基池化可以在空间(索引$k$)上执行，然后在频率(索引$l$)上执行，或者反之亦然，它们之间存在一些非线性，或者可能使用不同的指数$\beta$。还可以使用空间地图来指示不同区域的相对重要性，以提供空间变化的权重[25]、[27]、[28]。

B. 限制

误差敏感性方法的基本原则是，感知质量最好地通过量化误差的可见性来估计。这基本上是通过模拟HVS早期阶段的功能特性来完成的，其特征是心理物理和生理实验。虽然这种自底向上的解决问题的方法已经得到了普遍的接受，但是认识到它的局限性是很重要的。特别是，HVS是一个复杂且高度非线性的系统，但大多数早期视觉模型都是基于线性或准线性算子，而这些算子已经被限制和简单的刺激所表征。因此，误差敏感性方法必须依赖于一些强有力的假设和概括。许多以前的作者已经注意到这些，我们在这里只提供一个简要的总结。

质量定义问题。传统方法最基本的问题是图像质量的定义。特别的，不清楚的是，错误可见性是否等同于质量损失，因为有些失真可能是明显可见的，但不是那么令人反感。一个明显的例子是图像强度乘以一个全局尺度因子。[29]的研究也表明图像保真度和图像质量之间的相关性只是适度的。

超阈值的问题。作为许多错误敏感性模型基础的心理物理实验是专门设计来估计刺激仅仅是勉强可见的阈值。这些测量的阈值然后用于定义视觉误差敏感性测量，如CSF和各种掩蔽效应。然而，很少有心理物理学研究表明，这种近阈值模型是否可以推广到表征显著大于阈值水平的感知扭曲，就像大多数图像处理情况一样。在阈值上范围内，不同通道之间的相对视觉失真是否可以用可见阈值进行归一化?最近已经努力将超阈值心理物理学用于分析图像失真(例如，[30]-[34])。

自然图像复杂性问题。大多数心理物理实验是使用相对简单的模式进行的，如点、条或正弦光栅。例如，CSF通常是从使用全局正弦图像的阈值实验中获得的。掩蔽现象通常使用两个(或几个)不同模式的叠加来描述。但所有这些模式都比现实世界中的图像要简单得多，现实世界中的图像可以被认为是大量简单模式的叠加。几个简单模式之间的交互模型可以推广到评估几十个或数百个模式之间的交互吗?这些有限的简单刺激实验足以建立一个模型来预测复杂结构自然图像的视觉质量吗？虽然目前还不知道这些问题的答案，但最近建立的Modelfest数据集[35]既包括简单模式也包括复杂模式，应该有助于未来的研究。

去相关问题。当人们选择使用闵可夫斯基度量来表示空间池化错误时，人们含蓄地假设不同位置的错误是统计独立的。如果池之前的处理消除了输入信号中的依赖项，这将是正确的。然而，根据经验，这不是线性信道分解方法，如小波变换的情况。研究结果表明，自然图像的小波系数与信道内小波系数和信道间小波系数之间存在很强的相关性。事实上，最先进的小波图像压缩技术通过利用这种强依赖性[38]-[41]来取得成功。在心理物理上，各种视觉掩蔽模型被用来解释系数[2]和[42]之间的相互作用。统计表明，设计良好的非线性增益控制模型，其中的参数被优化以减少相关性，而不是拟合来自掩蔽实验的数据，可以大大减少变换系数[43]，[44]的相关性。在[45]和[46]中，研究表明优化设计的转换和掩蔽模型可以减少统计和感知依赖。这些模型能在多大程度上改善当前质量评估算法的性能，仍有待观察。

认知互动问题。众所周知，认知理解和交互视觉处理(如眼球运动)影响图像的感知质量。例如，如果提供不同的指令[4]，[30]，人类观察者会对同一幅图像给出不同的质量分数。先前关于图像内容的信息，或注意和注视，也可能影响对图像质量的评价[4]，[47]。但大多数图像质量指标没有考虑到这些影响，因为它们很难量化，也不能很好地理解。

图2 比较不同类型畸变的“Boat”图像，均为MSE = 210。(a)原始图像(8位/像素;能见度从512英镑削减到256英镑);(b)对比度拉伸图像，MSSIM = 0.9168;© mean -shift图像，MSSIM = 0.9900;(d) JPEG压缩图像，MSSIM = 0.6949;(e)模糊图像，MSSIM = 0.7052;(f)椒盐脉冲噪声污染图像，MSSIM = 0.7748。

3 基于结构相似度的图像质量评价

自然图像信号是高度结构化的:它们的像素显示出很强的依赖性，尤其是当它们在空间上接近时，这些依赖性携带着视觉场景中物体结构的重要信息。闵可夫斯基误差度量是基于点的信号差异，这是独立于底层信号结构。尽管大多数基于误差灵敏度的质量度量方法使用线性变换来分解图像信号，但这并不能消除强相关性，如前一节所讨论的。我们的新方法的动机是找到一种更直接的方法来比较参照物和畸变信号的结构。

A.新哲学

在[6]和[9]中，基于人类视觉系统高度适应于从视野中提取结构信息的假设，提出了一种新的图像质量度量设计框架。它遵循结构信息变化的测量可以提供一个很好的近似的感知图像失真。

这种新哲学可以通过与错误敏感性哲学进行比较来更好地理解。首先，误差敏感性方法估计感知误差以量化图像退化，而新的理论认为图像退化是结构信息的感知变化。图2给出了一个激发性的例子，其中原始“Boat”图像被不同的扭曲改变，每一种扭曲都被调整以产生与原始图像几乎相同的MSE。尽管如此，可以看到这些图像具有截然不同的感知质量。用误差灵敏度理论，很难解释为什么对比度拉伸图像具有很高的质量，因为它的视觉差异与参考图像是很容易识别的。但是它是容易理解的新哲学以来几乎所有的参考图像的结构信息是保持,在某种意义上,原始信息可以通过一个简单的点态几乎完全恢复逆线性亮度变换(除了非常明亮和黑暗区域饱和发生)。另一方面，在JPEG压缩文件中一些来源于原始图像的结构信息也永久丢失，并且因此它们的质量分数应该低于对比度拉伸和均值位移图像。

其次，错误敏感性范式是一种自底向上的方法，模拟了HVS中相关早期组件的功能。新的范例是一种自上而下的方法，模拟了整个HVS的假设功能。一方面，这避免了上一节提到的超阈值问题，因为它不依赖阈值心理物理学来量化感知的扭曲。另一方面，认知交互问题也在一定程度上减少了，因为探索被观察对象的结构被认为是整个视觉观察过程的目的，包括高层次和交互过程。

第三，在一定程度上也避免了自然图像复杂性和去相关性的问题，因为新哲学不试图通过积累与心理物理学理解的简单模式相关的错误来预测图像质量。相反，新的理论建议直接评估两个复杂结构信号之间的结构变化。

B. 结构相似性(SSIM)索引

我们从图像形成的角度构建了一个结构相似度质量度量的具体例子。在[6]-[8]中对这种方法进行了先前的实例化，并在简单测试中获得了有希望的结果。在本文中，我们推广了该算法，并提供了一组更广泛的验证结果。

被观察物体表面的亮度是照度和反射率的乘积，但场景中物体的结构与照度无关。因此，为了探索图像中的结构信息，我们希望分离光照的影响。我们将图像中的结构信息定义为那些代表场景中物体结构的属性，独立于平均亮度和对比度。由于亮度和对比度可以在一个场景中变化，我们使用局部亮度和对比度作为我们的定义。

提出的质量评价体系体系框图如图3所示。假设x和y是两个非负的图像信号，它们已经彼此对齐(例如，从每张图像中提取空间patch)。如果我们认为其中一个信号具有完美的质量，那么相似性度量可以作为第二个信号质量的定量度量。该系统将相似性度量任务分为亮度、对比度和结构三部分进行比较。首先，比较每个信号的亮度。假设信号为离散信号，则估计为平均强度:


图3 结构相似度(SSIM)测量系统图。

亮度比较函数$l(x,y)$是${\mu }_x$和${\mu }_y$的函数。

其次，我们从信号中去除平均强度。在离散形式下，得到的信号$x-{\mu }_x$对应于向量x在定义的超平面上的投影，

我们使用标准差(方差的平方根)作为信号对比的估计。给出了离散形式的无偏估计

对比度比较$c(x;y)$就是对${\sigma }_x$和${\sigma }_y$的比较。

第三，将信号归一化(除以)其自身的标准差，使两个被比较的信号具有单位标准差。对归一化信号$(x-{\mu }_x)/{\sigma }_x$和$(y-{\mu }_y)/{\sigma }_y$进行结构比较$s(x;y)$。

最后，这三个组成部分结合起来产生一个总体相似性度量：

重要的一点是，这三个组件是相对独立的。例如，亮度和/或对比度的变化不会影响图像的结构。

为了完善Eq.(5)中相似性测度的定义，我们需要定义三个函数l(x;y)， c(x;y)， s(x;y)，以及组合函数f(.)。我们还希望相似性度量满足以下条件:

1. 对称：$s(x;y)=s(y;x)$
2. 有界性：$s(x;y)\le 1$
3. 唯一最大值：当且仅当$x=y$时，$s(x;y)=1$（在离散的表征中,$x_i=y_i$）

对于亮度比较，我们定义

当${\mu }_x$+${\mu }_y$非常接近零时，为了避免不稳定性，我们加入了常数$C_1$。具体来说,我们选择

其中L为像素值的动态范围(8位灰度图像为255)，$K_1<<1$为一个小常数。类似的考虑也适用于后面描述的对比度比较和结构比较。式(6)很容易看出符合上面列出的三个性质。

方程(6)在定性上也与韦伯定律一致，韦伯定律被广泛用于HVS中模拟光适应(也称为亮度掩蔽)。根据韦伯定律，在亮度值范围很广的情况下，一个刚刚可见的亮度变化量$∆I$与背景亮度$I$近似成比例。换句话说，HVS对相对亮度变化敏感，而对绝对亮度变化不敏感。让R表示相对于背景亮度变化的大小，我们将失真信号的亮度写成${\mu }_y=(1+R){\mu }_x$。将其代入式(6)得到

如果我们假设C1足够小(相对于${\mu }_x^2$)可以忽略，那么l(x;y)仅是R的函数，定性地符合韦伯定律。

对比度比较函数采用类似的形式:

其中$C2=(K_{2}L{)}^2$, $K_2<<1$。这个定义再次满足上面列出的三个属性。这个函数的一个重要特征是，具有相同数量的对比度变换$△\sigma ={\sigma }_y-{\sigma }_x$，这种测量方法对高基础对比度的情况比低基础对比度的情况不太敏感。这与HVS的对比掩蔽特征是一致的。

经过亮度减去和方差归一化后进行结构比较。具体来说，我们将两个单位向量$(x-{\mu }_x)/\sigma x$和$(y-{\mu }_y)/\sigma y$，分别对应于由Eq.(3)定义的超平面中，与这两个图像的结构相关联。它们之间的相关性(内积)是量化结构相似性的一种简单而有效的方法。需要注意的是$(x-{\mu }_x)/\sigma x$和$(y-{\mu }_y)/\sigma y$的相关关系相当于x和y的相关系数。因此，我们定义结构比较函数如下:

在亮度和对比度测量中，我们在分母和分子中都引入了一个小常数。在离散形式下，${\sigma }_{xy}$可以估计为:

几何上，相关系数对应于向量$x-{\mu }_x$和$y-{\mu }_y$之间夹角的余弦值。还要注意，s(x;y)可以取负值。最后，我们将这三个等式的比较结合起来。(6)、(9)和(10)，并将得到的相似度测度命名为信号x和y之间的结构相似度(SSIM)指数:
其中$\alpha >0$、$\beta >0$和$\gamma >0$是调整三个成分相对重要性的参数。很容易证明这个定义满足上述三个条件。为了简化表达式，本文设$\alpha =\beta =\gamma =1$，设C3 = C2/2。结果形成一个具体形式的SSIM索引:

[6]，[7]中定义的“通用质量指数”(UQI)对应于C1 = C2 = 0的特殊情况，当${\mu }_x^2+{\mu }_y^2$或${\sigma }_x^2+{\sigma }_y^2$非常接近零时，会产生不稳定的结果。

SSIM指数和更传统的质量度量之间的关系可以在图像分量的矢量空间中以几何方式说明。这些图像分量可以是像素强度或其他提取的特征，如变换后的线性系数。图4显示了围绕三个不同的示例参考向量绘制的等失真轮廓，每个参考向量代表一个参考图像的局部内容。为了便于说明，我们只显示一个二维空间，但一般来说，维数应该与被比较的图像组件的数量相匹配。每个轮廓代表一组相对于封闭参考图像具有相同畸变的图像。图4(a)显示了一个简单的Minkowski度量的结果。每个轮廓都有相同的大小和形状(这里是一个圆，因为我们假设指数为2)。也就是说，感知距离对应于欧几里得距离。图4(b)显示了闵可夫斯基度量，其中不同图像分量的权重不同。例如，这可以是根据CSF加权，这在许多模型中是常见的。这里的轮廓是椭圆，但仍然是相同的大小。这些显示与轴对齐，但通常可以倾斜到任何固定的方向。

许多最近的模型都包含了对比度掩蔽行为，这具有根据信号大小重新缩放等失真轮廓的效果，如图4©所示。这可以被看作是一种自适应失真度量:它不仅取决于信号之间的差异，还取决于信号本身。图4(d)显示了对比掩蔽(幅度加权)和成分加权的组合。

图4所示。三个例子等距离轮廓为不同的质量指标。(a)闵可夫斯基误差测量系统;(b)分量加权Minkowski误差测量系统;©量值加权闵可夫斯基误差测量系统;(d)幅度和分量加权闵可夫斯基误差测量系统;(e)拟议的系统(方程式的组合。(9)和(10)更强调s(x;y);(f)拟议的系统(方程式的组合。(9)和(10))更强调c(x;y)。每个图像都表示为一个向量，其条目是图像组件。注意:这是一个二维空间的插图。在实践中，维度的数量应该等于用于比较的图像组件的数量(例如，像素的数量或转换系数)。

另一方面，我们提出的方法分别计算两个独立量的比较:向量的长度和它们的角度。因此，轮廓线将与极坐标系的轴对齐。图4(e)和图4(f)显示了两个用不同指数计算的例子。再次，这可能被视为一个自适应失真度量，但不像以前的模型，无论是大小和形状的轮廓是适应底层信号。一些最近使用分裂归一化来描述掩掩效应的模型也显示出信号依赖的轮廓方向(例如，[45]，[46]，[48])，尽管在这些方法中没有观察到与极坐标系统轴的精确对齐，如图4(e)和4(f)。

C.使用SSIM指数进行图像质量评估

对于图像质量评估，局部应用SSIM索引比全局应用SSIM索引更有用。首先，图像的统计特征通常具有高度的空间非平稳性。其次，图像失真可能取决于或不取决于局部图像统计，也可能是空间变量。第三，在典型的观察距离下，人类观察者一次只能以高分辨率感知图像中的一个局部区域(因为HVS[49]，[50]的中心凹特征)。并且最后，局部质量测量可以提供一个空间变化的图像质量图，它提供了更多关于图像质量退化的信息，可能在某些应用程序中有用。

在[6]，[7]中，局部统计${\mu }_x$或${\sigma }_x$和${\sigma }_{xy}$是在一个局部8×8方形窗口中计算的，该窗口在整个图像中逐像素移动。在每一步中，本地统计信息和SSIM索引都在本地窗口中计算。这种方法的一个问题是，产生的SSIM索引映射经常显示不受欢迎的“阻塞”工件。本文采用11×11圆对称高斯加权函数 w = { w i ∣ i = 1 , 2 , … … N } w = \{w_i|i = 1,2,……N\} w={wi​∣i=1,2,……N}，标准差为1.5个样本，归一化为单位和(${\sum }_{i=1}^N{w}_i=1$)。然后将局部统计量${\mu }_x$、${\sigma }_x$和${\sigma }_{xy}$的估计数进行相应的修正：

使用这种开窗方法，质量图呈现局部各向同性的特性。在本文中，SSIM度量使用以下参数设置:K1= 0.01;K2 = 0.03。这些值有些随意，但是我们发现在我们当前的实验中，SSIM索引算法的性能对这些值的变化相当不敏感。

在实践中，通常需要对整个图像进行单一的整体质量测量。我们使用平均SSIM (MSSIM)指标来评价整体图像质量:

其中，X为参考图像，Y为畸变图像;Xj和yj为第j个局部窗口的图像内容;M是图像中局部窗口的个数。根据应用程序的不同，还可以计算SSIM索引图中不同样本的加权平均值。例如，感兴趣区域图像处理系统可以对图像中的不同分割区域赋予不同的权重。另一个例子是，已经观察到不同的图像纹理以不同的程度吸引人的注视(例如，[51]，[52])。一个平滑变化的凹形加权模型(例如，[50])可以用来定义权重。然而，在本文中，我们使用均匀加权。SSIM索引算法的MatLab实现可以在[53]在线获取。Z. Wang, “The SSIM index for image quality assessment,” http: //www.cns.nyu.edu/~lcv/ssim/. 链接

4 实验结果

许多图像质量评估算法在应用于使用相同类型的失真(如JPEG压缩)从相同原始图像创建的失真图像时表现一致。然而，当应用于来自不同参考图像的一组图像，以及/或包括各种不同类型的扭曲时，这些模型的有效性显著降低。因此，交叉图像和交叉失真测试是评价图像质量度量的有效性的关键。要展示一组完整的这样的例子是不可能的，但图2中的图像为测试质量评估算法的交叉失真能力提供了一个令人鼓舞的起点。图标题给出了MSE和MSSIM的测量结果。显然，MSE在这种情况下表现很差。MSSIM值与定性的视觉外观具有更好的一致性。

A. 最好/最坏的验证

我们还开发了一种更有效的方法来检查我们的客观度量和感知质量之间的关系。从畸变图像开始，我们对MSSIM梯度进行上升/下降，同时约束MSE保持与初始畸变图像的MSE相等。具体来说，我们迭代了以下两个线性代数步骤:


其中，$\sigma$是受约束MSE的平方根，$\lambda$控制步长，$\hat{E}(X,Y)$是由

定义，并且$P(X,Y)$是投影算子:

I是单位算子。MSSIM是可微的，该过程收敛于客观测度的局部最大值/最小值。视觉检查这些最佳和最坏情况的图像，以及最初的扭曲图像，提供了一个视觉指示的类型的扭曲被认为是最不重要的客观测量。因此，它是揭示质量测度知觉含义的一种权宜之计和直接方法。图5给出了一个例子，初始图像被高斯白噪声污染。可以看出，原始图像的局部结构在最大的MSSIM图像中得到了很好的保存。另一方面，在最坏情况下，MSSIM图像的结构发生了很大的变化，在某些情况下反转了对比度。