ABR中使用超分辨率的一些知识

超分辨率算法：

NAS：2018OSDI，针对非移动场景的超分辨率ABR，普遍的对比对象

NEMO：针对移动场景的超分辨率ABR

dcSR：2022CoNext，以节省带宽和计算消耗为目标

BasicVSR：超分比赛NTIRE 2020三冠一亚的优异成绩，登上了CVPR 2021。

BasicVSR++：超分比赛NTIRE 2021三冠一亚的优异成绩，登上了CVPR 2022，比BasicVSR更轻量。

视频图像评价指标：

PNSR：目前视频/图像处理领域应用最为广泛的客观数值评估指标之一。PSNR是基于逐像素点信息比较的，一幅图像中的每个像素点对图像质量结果造成的影响是等值的，这很不合理，因为这没有对于信息的强度进行区别处理。

1. PSNR avg.MSE：当聚合整个视频的逐帧分数时，首先计算 MSE 的算术平均值，然后取对数。
2. PSNR avg.log：当聚合整个视频的逐帧分数时，首先计算每帧的 PSNR，然后计算所有视频帧的算术平均值。

事实上人眼对于质量越差的帧反而越敏感，所谓一锅老鼠屎坏了一锅粥，当观看视频时突然闪现一帧质量差的画面，人眼会对这一帧记忆更为深刻。整个视频的逐帧分数时，相较于 PSNR avg.log，PSNR avg.MSE 就更加关照低质量帧，从这点上更符合主观感受。

SSIM：结构相似度，由亮度对比、对比度对比、结构对比三部分组成。SSIM 在衡量编码主观损失方面有其独特的表现。

VMAF：适用于衡量大规模环境中流播视频质量的观感。能够被 trick。增强对比度能提高VMAF值；VMAF在衡量原画损失的能力稍弱，有时不如SSIM与PSNR。

应当既看 VMAF，也要结合 PSNR 和 SSIM，进行综合评估，以达到最接近人眼主观的测评效果。

ITU-P.1203：该指标同时考虑视频质量和QoS（例如延迟和卡顿）两个因素，用于计算HTTP自适应流（HAS）的质量。这是同类中的第一个标准化指标。

ITU-P.1204.3：该指标用于计算H.264，HEVC和VP9视频文件的质量，可以提供优于VMAF的准确度。标准里的P.1204.3是基于码流的无参考模型。

当前主流直播框架

WebRTC，大大降低了时延（400ms以内）

视频最少是24帧才能保证肉眼看起来流畅，那么30帧乃至60帧的视频是怎样的？会更流畅吗？

游戏的帧率单位是FPS，指每秒由显卡渲染生成的静态图像数量，因为游戏中不同的画面复杂度不同，显卡的渲染输出的每一帧画面时间间隔很难保持均匀，比如当游戏场景是室内，帧率就比较高，如果场景是开阔的室外而且伴随着雨或雪的气象时，游戏帧率就会明显降低。

视频的帧率单位是FPS，表示视频中1秒切换图像的数量，24FPS是最低的不卡顿要求，30FPS的视频属于画面流畅的视频，60FPS则更加流畅，还有120FPS……

显示器的帧率单位是HZ，表示显示器1秒刷新的次数，一般的显示器都是60Hz，90Hz就明显流畅很多，120HZ，144HZ……

只有显示器的帧率大于等于视频帧率才能真正播放出高帧率视频效果，120FPS视频在60Hz的显示器上只能看到60FPS的效果。

视频和图像转化

视频转图像：ffmpeg -y -i video.mp4 -t 5 -s 1920x1080 -r 30 %3d.jpg

图像转视频：ffmpeg -y -r 30 -i %3d.jpg video.mp4

YUV转MP4：ffmpeg -y -hide_banner -s 3840*2160 -r 120 -i x.yuv -r 120 x.mp4

视频区域分割：ffmpeg -i 1.mp4 -vf crop=裁剪后宽度:裁剪后高度:起始位(宽):起始位置(高) 2.mp4

视频分辨率变换：ffmpeg -i 1.mp4 -vf scale=480:360 2.mp4 -hide_banner

视频DASH切分：ffmpeg -y -i video.mp4 -c copy -f dash -window_size 5 -min_seg_duration 3000000 -single_file 0 -init_seg_name initavatar-stream\$RepresentationID\$.m4s -media_seg_name chunkavatar-stream\$RepresentationID\$-\$Number%05d\$.m4s -use_template 0 -bsf:a aac_adtstoasc video.mpd

GOP视频编码

GOP（Group of Pictures）策略影响编码质量，所谓GOP，意思是画面组，一个GOP就是一组连续的画面。GOP是序列中的一个图片集，用来辅助随机存取。GOP的第一个图像必须为I帧，这样就能保证GOP不需要参考其他图像，可以独立解码。一个I帧所占用的字节数大于一个P帧，一个P帧所占用的字节数大于一个B帧。

所以在码率不变的前提下，GOP值越大，P、B帧的数量会越多，平均每个I、P、B帧所占用的字节数就越多，也就更容易获取较好的图像质量；Reference（参考周期）越大，B帧的数量越多，同理也更容易获得较好的图像质量。

通过提高GOP值来提高图像质量是有限度的，在遇到场景切换的情况时，H.264编码器会自动强制插入一个I帧，此时实际的GOP值被缩短了。

另一方面，在一个GOP中，P、B帧是由I帧预测得到的，当I帧的图像质量比较差时，会影响到一个GOP中后续P、B帧的图像质量，直到下一个GOP开始才有可能得以恢复，所以GOP值也不宜设置过大。

同时，由于P、B帧的复杂度大于I帧，所以过多的P、B帧会影响编码效率，使编码效率降低。另外，过长的GOP还会影响Seek操作的响应速度，由于P、B帧是由前面的I或P帧预测得到的，所以Seek操作需要直接定位，解码某一个P或B帧时，需要先解码得到本GOP内的I帧及之前的N个预测帧才可以，GOP值越长，需要解码的预测帧就越多，seek响应的时间也越长。

GOP中I、P和B分别代表是一副画面吗？P和B解码之后就是1帧？帧率在GOP中是如何体现的？通过播放时间戳吗？

GOP解码必须将整个视频段下载完才能解码吗？还是只需要P或B满足了解码条件就可以开始解码了，即边下载边播放？

点播、直播、流式视频，GOP的编码方式是普遍的标准要求吗？

每一个GOP都必须以I帧为开始，这是为了保证GOP解码不需要参考其他GOP，但是一个GOP中可能存在多个I帧，这是因为这段视频GOP中可能存在多个大的场景变换，不能用P和B帧的运动矢量表示了，必须以新的I帧开始。

4K和UHD是什么关系？

4K，我们所说的分辨率为4096x2160，4K表示水平像素数。但是，4K不仅是分辨率，而且还是记录数据流的方式，它以JPEG2000标准进行压缩，比特率最高为250 Mbps，12位4:4:4彩色。

UHD是全高清，分辨率为（在当前可用的设备中）3840x2160。

4K UHD的描述实际上是指UHD，3840x2160。

为什么电影电视帧率不是整数？

电影的fps开始确实是24，NTSC原来也确实是30fps，只是在加入彩色信号的时候，为了避免让声音，色度和亮度的信号互相干扰，选择了让声音载波频率为亮度频率的整数倍，而NTSC原来的标准是无法满足这个要求的。在为了保证原来用户能正常收视的情况下，选择稍微降低场频，以满足整数倍关系，于是从60Hz降低为 60000/1001 = 59.94Hz，而相应地，经过3:2Pull Down后，成了24000/1001 = 23.976.还有为29.97的，为 30000/1001 = 29.97.

最邻近插值，双线性插值，三线性插值

最近邻插值法的优点是计算量很小，算法也简单，因此运算速度较快。但它仅使用离待测采样点最近的像素值作为该采样点的值，而没考虑其他相邻像素点的影响，因而重新采样后灰度值有明显的不连续性，图像质量损失较大，会产生明显的马赛克和锯齿现象。

双线性插值法效果要好于最近邻插值，只是计算量稍大一些，算法复杂些，程序运行时间也稍长些，但缩放后图像质量高，基本克服了最近邻插值不连续的特点，因为它考虑了待测采样点周围四个直接邻点对该采样点的相关性影响。但是，此方法仅考虑待测样点周围四个直接邻点灰度值的影响, 而未考虑到各邻点间灰度值变化率的影响, 因此具有低通滤波器的性质, 从而导致缩放后图像的高频分量受到损失, 图像边缘在一定程度上变得较为模糊。用此方法缩放后的输出图像与输入图像相比, 仍然存在由于插值函数设计考虑不周而产生的图像质量受损与计算精度不高的问题。

双三次插值法计算量最大，算法也是最为复杂的。在几何运算中，双线性内插法的平滑作用可能会使图像的细节产生退化，在进行放大处理时，这种影响更为明显。在其他应用中，双线性插值的斜率不连续性会产生不希望的结果。立方卷积插值不仅考虑到周围四个直接相邻像素点灰度值的影响，还考虑到它们灰度值变化率的影响。因此克服了前两种方法的不足之处，能够产生比双线性插值更为平滑的边缘，计算精度很高，处理后的图像像质损失最少，效果是最佳的。