视频算法分析介绍PSNR、NIQE、VMAF、MS-SSIM, SSIM and DMOS、JND

需要对人的感知视频和音频质量进行分析。有两种方法可以做到：

1.对有问题/困难的流进行深入分析，判断感知到的视频或音频质量
2.进行长时间测试，在数小时、数天甚至数周的测试运行中搜索质量下降/恶化的原因。

      视频质量分析是一个主观的概念。最精确的质量测量方法是收集人类观察者并要求他们对质量进行判断。这是一个很有意义的和潜在的不一致的方法，因为需要对人类观察者进行判断，以确保他们的视力是好的，身体状况良好，没有色盲等等。最后，为每项测试计算一个平均得分值（mos）。有关设置主观测试的详细信息，请参阅建议ITU-R BT.500-13-电视图像质量主观评估方法，根据TU-R BT500.13或TU-T 913建议，已经开发了许多算法，通过与正确生成的主观数据相关，以精确的方式估计人类感知的视频质量。

算法分为三类：
1.全参考算法：比较处理序列和参考序列。
2.无参考算法：仅分析处理过的视频序列。
3.简化参考算法：从参考视频中提取特定信息，并在分析处理后的视频时使用。

Clear View全参考评分方法：
1.EITP：提供一个目标评估，以确定给定程序的两个版本之间是否可以看到两种颜色之间的差异。
2.VMAF:Video Multime Assessment Fusion是为流式视频服务的质量评估量身定制的。
3.MS-SSIM/DMOS:MS-SSIM和DMOS两种尺度上的多尺度结构相似性图像质量评估，其中DMOS是参考视频和处理视
频的平均意见得分之间的差异。
4.JND：将人类观察者聚集在一起并直到至少有一个人认为经过处理的视频至少与参考视频一样好为止（只是明显的差异）
5.PSNR：峰值信噪比，信号最大可能功率与影响其表示保真度的畸变噪声功率之比。
6.aFREQ：相对于每个参考音频通道，用于查找严重错误的音频性能指标。aFreq包括音频-视频偏移测量或唇音同步值或程序中选定的通道。

Clear View无参考评分方法：
1.NIQE：自然图像质量评价，全盲，无失真，无参考，图像质量评价指标
2..aPEAK：根据ITU-R BS.1770-3，每个通道的真实峰值音频测量
3.LKFS：根据ITU-R BS.1770-3，每个项目的音频响度测量
4.Spatial：计算视频帧的活动强度，数值越大表示帧中的变化越多。
5.Temporal：计算连续视频帧之间的变化，零表示冻结帧。

视频算法介绍

PSNR(峰值信噪比)是应用最广泛的指标之一。它测量输入和输出之间的平均误差，用db表示.PSNR中峰值信号用比率表示，虽然不执行人类感知视频质量预测，但作为所有ClearView系统中包含的目标指标之一，它确实发挥了重要作用。PSNR提供两个信号之间的绝对差异，对于需要通过/失败指示器的设备性能或网络路径测试非常重要。
NIQE自然图像质量评价是一个完全盲、无失真、无参考、图像质量评价指标。该质量评估师由德克萨斯大学LIVE实验室是一个基于自然场景统计(NSS)的建模框架的意见不知道(OU)和失真不知道(DU)没有参考(NR)图像质量评估(IQA)。结果是第一种NSS驱动的OU-DU IQA模型，它不需要预先暴露在扭曲的图像中， 也不需要任何关于人类观点分数的培训。新的NR OU-DU IQA质量指数优于峰值信噪比(PSNR)和非多尺度结构相似性(SSIM)指数，与表现最佳的NR OA-DA IQA方法具有同等的性能。
VMAF: 这个完全参考指标是由Netilix设计的，并根据最新发布的VMAF版本在ClearView中以其本机规模实现。VMAF非常
接近人类对视频质量的感知，无论是自然视频还是动画内容，它都在不同的内容类型中保持一致。通过将各种源内容特性
考虑在内，并将重点放在压缩和图片缩放伪影上，作为流式内容交付版本中的主要降级组件，VM进行了特别调整，以评估
视频流的质量。
MS-SSIM, SSIM and DMOS在多尺度结构相似性图像度量(MS-SSIM)中，以各种分辨率评估图像，结果是这些校准步骤的平均值。 即使SSIM正确地校准到环境和数据集，MS-SSIM也能胜过简单的SSIM.Clearview包括由德克萨斯大学开发的MS-SSIM和SSIM，并在其原生尺度上提供MS-SSIM也映射到线性DMOS(差分平均意见得分)。 可以对亮度执行测量，并且为颜色通道提供组合分数。
 EITP根据ITU的建议BT.2124，EITP有助于评估HDR电视图像和信号中颜色差异的潜在可视性。该指标返回一个刚刚显著的差异(JND)评分，该评分提供了对信号处理技术与摄像机原始内容引入的差异的评估。

Sarnoff JND:作为ClearView的视图选项，Saroff-JND视觉模型是视频感知质量的一个非常精确的预测因子。它包括图像质量比(PQR)算法，并以JND(只是显著的差异)为单位进行量化。

 

音频性能测量
aFREQ 音频频率度量-提供处理音频与参考音频的比较，以发现严重的音频错误，并提供源音频通道与处理
过的音频通道的一般性能比较。
音频/视频校准(唇音同步)是aFREQ中包含的毫秒精确测量。
aPEAK 音频峰值度量和响度测量-测量真实峰值振幅，为每个帧提供一个值，为每个通道提供一个单独的
值。在aPEAK测量中，相对于满标度，LKFS响度有一个选择。LKFS提供了一种测量方法，可以在给定程序中的
所有音频通道上用一秒钟的时间测量峰值响度，并在该时间段内用一个值进行响应。重新计算的值以对数刻度
为基础，0是最大值，-60接近静音。LKFS测量符合ITU-R BS.1770-3建议。

RTM和RTM 4K全参考音频/视频质量监视器，实时测量音频

输入源“参考”和下游“处理”A/V，通过HDSDI至4K或IP至1080p
在实时源上实时测量音频和视频质量通过PSNR或MS-SSIM/DMOS算法
实时测量音频和视频延迟（唇音同步）至毫秒
根据ITU-R BS.1770-3测量音频响度。
测量每一行的数据线完整性，每一行可单独选择
持续向文本日志和RTM管理器报告最小、最大和平均A/V质量和A/V偏移量
如果上述任何一项低于用户设置的降级阈值，则通过音频蜂鸣音记录A/V序列的故障部分和警报。
RTM可以在同一个系统中与ClearView结合使用，以提供两个测试应用程序。