超分辨率概述

1.什么是超分辨率增强

Video super-resolution is the task of upscaling a video from a low-resolution to a high-resolution.
超分辨率(Super-Resolution)通过硬件或软件方法提高原有图像的分辨率，通过一幅或者多幅低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建，可以通过人工智能深度学习将低分辨率视频重建成高分辨率视频模糊图像、视频瞬间变高清，为移动端为用户带来极致视频体验。

1.1 什么是超分辨率

Resolution is a very important quality metric in the domain of video and image data. Resolution refers to the size of the image in terms of height x width x color channels, (color channels usually being 3, RGB). Resolution transcends size however, since it is usually implies that an HD image with 1024 x 780 resolution would look better than a low-resolution 32x32 image that is expanded to be of size 1024 x 780.
广义的超分辨率 (SR, Super Resolution) 是指一类用于提升图像分辨率的技术。这类技术已经存在了很长一段时间，应用也非常广泛。事实上，每当我们需要以不同于原始分辨率的尺寸来显示或存储图像时，就已经使用了SR，只不过使用的是其中最为简单的那类算法而已。
随着图像处理理论的发展，以及机器学习的普及和更高性能的处理器的出现，各类更优秀的SR算法陆续出现。现在我们提及SR时，往往是特指依靠机器学习来实现的图像放大算法。下文提到SR时也均特指这类算法。它能够提供远超于传统图像放大算法的图像质量。当然，运算量也要高得多。

1.2超分辨率理论描述

SR算法本质上和传统图像放大算法没什么不同，都是利用已有的图像信息去预测需要的像素点。只不过传统算法的预测模型非常简单，可以通过人工设计的方式实现。例如双线性插值，就是利用目标像素周围的四个点来做预测，离目标位置越近的点权重越大，通过一个简单的公式就能得到结果: f(x,y)=f(0,0)(1-x)(1-y)+f(1,0)x(1-y)+f(0,1)(1-x)y+f(1,1)xy
而现代SR算法为了得到更精确的预测结果，其预测模型则复杂了很多。一般有多个卷积层和激活层，会利用到目标像素周围很大一片区域的图像信息，包含成千上万个模型参数，纯靠人工设计是不现实的。所以人们才会依靠机器学习的方式来决定参数。这种做法还附带有不少好处。例如你无需对图像处理有深厚的理解就可以训练模型，再比如你可以根据自己的应用场景调整训练集，从而得到更适合你的预测模型。

1.3超分辨率技术描述

简单来说超分辨率技术可以分为以下两种：
1）只参考当前低分辨率图像，不依赖其他相关图像的超分辨率技术，称之为单幅图像的超分辨率（single image super resolution），也可以称之为图像插值（image interpolation）；
2）参考多幅图像或多个视频帧的超分辨率技术，称之为多帧视频/多图的超分辨率（multi-frame super resolution）。

根据图像超分辨率的技术路线进行分类，图像超分辨率技术大致可以分为以下几类：
基于定参数的线性滤波器技术；
基于图像边缘结构的技术；
基于图像重构约束的技术和基于机器学习的技术。

2.视频超分辨率和图像超分辨率

Example-based video deblurring and super-resolution aim to recover the rich details and the clear texture from blurry and low-resolution video frames, based on prior examples under the form of degraded blurry and low-resolution (LR) and corresponding sharp and highresolution (HR) videos.
相较于图像超分辨率，视频超分辨率技术则更加复杂，不仅需要生成细节丰富的一帧帧图像，还要保持图像之间的连贯性。但同时，视频超分辨技术也有着相当大的应用价值和广泛的应用场景。因为基于深度学习的超分技术能较好的恢复图像细节. 在视频发送源可能因为种种客观限制， 无法提供高分辨率的视频. 比如摄像头采集能力不足， 网络带宽不足，源端处理能力不足等， 在这些情形下， 如果云端或者接收端的处理能力满足要求， 可以借助超分技术， 对于视频质量做恢复， 呈现给用户高质量的视频. 其作为图像的后处理技术更能匹配更大分辨率的显示设备，提升图像的主观视觉效果。在压缩传输的应用场景中，为了在同等带宽下获得更高的图像质量，超分辨率算法适用于低带宽时低质量图像上的增强，在带宽充足时仍然应该传输高分辨率图像，即下采样—超分辨率的技术，受限于其性能上限，仅仅在低码率传输条件下，采用超分辨率增强的图像质量明显优于的在大图像上直接编码（即同等质量节省带宽）

3.HDR和SDR又是啥？

3.1什么是HDR 与 SDR

SDR (Standard Dynamic Range), 标准动态范围,而HDR (High Dynamic Range), 高动态范围成像。在计算机图形学与电影摄影技术中，用来实现比普通数位图像技术 更大爆光动态范围（更大明暗差别）的一组技术。目的是达到正确的表示真实世界中从太阳光直射到最暗阴影这样大范围亮度。通俗地讲就是8位和10位的区别,标准动态范围目前多指 8bit 视频，动态范围是0-255，高动态范围目前多指 10bit 视频，动态范围是 0-1023,已用灰度图像举例，标准动态从黑到白分成 256 份，高动态分成1024份。高动态明显分得更细致，带来的视觉体验就是色彩更丰富，细节更清晰。

3.2SDR到HDR中的调色转化

SDR图像与HDR图像的区别不仅体现在亮度范围上，也体现在色域差别上。常见的SDR图像/视频的颜色空间符合BT.709标准中规定的色域，而HDR图像/视频的颜色空间则符合BT.2020标准中规定的色域。这种色域的拓展，使得HDR图像/视频在可见光中的颜色覆盖率提高了近40%。因此，现今的逆色调映射算法（inverse Tone Mapping Operator, iTMO或reverse Tone Mapping Operator, rTMO）不仅仅要对图像的亮度信息与对比度进行增强，还需要进行色域映射。传统的逆色调映射算法很少涉及颜色的处理，忽视这点可能引起增强后的图像/视频出现颜色偏移等现象。
逆色调映射算法中色域转换的常见方法是色彩校正(Color Correction)，这种方法可以使映射后得到的HDR图像获得视觉上与原生HDR接近的效果；另一种方法是使用色彩或图像外观模型进行色域转换，一般这种模型都是基于人类视觉系统的特性来实现的，但是这种方法能否准确地预测复杂场景或任意观看条件下的转换参数是值得商榷的。
随着色域的标准化，颜色空间由BT.709向BT.2020的转换过程也被纳入了ITU的标准之中，ITU发布的色域转换建议书BT.2087 中提出了由BT.709到BT.2020的色域转换流程，BT.2407建议书中提出了一种从BT.2020到BT.709色域转换的方法。BT.2087中提到的转换方法主要应用于解决BT.709/HD电视内容在BT.2020/UHDTV上播放的兼容性问题，方法是基于光电转换函数和电光转换函数及其反函数，具体转化方法可以参照ITU发布的文档。在逆色调映射过程中的颜色转换，可参考BT.2087建议。此外，更先进的色域映射算法考虑如何高效利用图像的空间属性。在空间色域映射中，不再存在从输入色域到输出色域的一对一颜色转换，而是考虑图像的局部背景，使得算法不仅可以准确地再现颜色，而且还能同时再现纹理和局部对比度，其主要方法有两类，一种是将传统映射过程中丢失的信息迭代添加回到图像中；另一类方法，最小化刻画色域映射图像和原始图像之间感知误差的损失函数，一般通过机器学习的方法实现。