超分辨率深度学习应用

转自：https://www.sohu.com/a/235288080_734621

在一些美剧中，我们经常会看见这样的场景：美国联邦调查局（FBI）通过某种黑科技手段，将无处不在的摄像头捕捉到的模糊影像放大，形成更为精细、清晰的图像，把嫌疑人“人肉”到底，帮助调查人员更精确地识别。

我们来扒一扒这个“黑科技”，其实它是通过超分辨率算法，将低分辨率、不清晰的人脸超分成高清晰度的画面，再用人脸识别技术匹配相应人物。毫无疑问，这项技术有着非常广泛的应用前景和实际价值。

网宿科技在业内首次提出基于深度学习算法的视频超分辨率技术落地应用，推出分辨率重建和AI视频增强两大功能，实现视频从低分辨率到高分辨率的实时转换，让用户享受到更高清的画质体验。

超分算法在客观的评分标准下，超过谷歌的RAISR、香港中文大学的SRCNN和传统算法。

分辨率重建

在终端上实现360P → 1080P

分辨率重建功能通过对超分辨率算法的应用，可以将低分辨率视频重建成高分辨率视频，在终端设备上动态加载超分模型，做到2-3倍的分辨率重建，简单来说就是输入360P的源视频，终端可以输出1080P的高清视频，可应用于手机直播、短视频、图片社区等。

以下是超分算法提升的效果对比图：

左图为源视频360P，右图为分辨率重建720P

什么时候用分辨率重建？

举个例子，一段低分辨率的视频，怎么在一个高清的终端设备上播放？

这就是低分辨率视频源和高分辨率显示设备之间的不匹配，很明显，这个场景下我们可以使用分辨率重建功能。

分辨率重建不会增加传输带宽！

分辨率重建作为视频的后处理技术，可以更好地匹配高分辨率终端显示，在同等带宽下获得更高的视频质量。适用于低分辨率、低质量的视频重建场景。

这项技术打开了移动端进行AI深度机器学习的大门，在普通用户自己的终端上也能运行，同时它兼容性极高，支持绝大多数市面上的视频格式。

AI视频增强

在服务端将720P/1080P → 4K

AI视频增强提供超分辨率、增强、修复等多种视频处理算法集合，采用海量视频画面进行深度训练，对那些由于采集设备较差、网络环境欠佳、拍摄时间久远、画面抖动等等导致画质损伤的片源，通过AI视频增强技术去除视频中的毛刺、伪影、噪音、马赛克等，从而大大提高人眼视觉清晰度感知。

AI 视频增强除了能够支持720P/1080P超分成4K视频外，还可以智能修复一些低分辨率摄像头采集到的画面，帮助工作人员更清晰地查看拍摄到的内容，包括车辆、物品、人脸等重要信息，有助提升监控视频质量与侦察识别准确率，在人脸识别和无人机航拍领域同样适用

去除视频噪音，提升监控视频质量

老片翻新，高清时代下的老片！

想象一下，画面粗糙的90年代电视剧要是能被修正为色彩华丽的画面，观看体验会有多棒！广电有大量的老旧片源，这些片源在当前的高清时代已经无法满足观看需要，通过超分辨率技术处理可以提升老旧片源清晰度。

通过AI视频增强的处理，原本比较模糊、灰暗的老片变得清晰、明亮，同时消除源视频中人物的伪影，文字边缘的毛刺，变得更加细腻。

老旧片源中，因为当时的技术瓶颈和岁月的沉淀，经常会出现人眼极其厌烦的不清晰部分，有的时候甚至模糊成马赛克，AI视频增强使画面更加细腻，为老片赋予新生。

智能插帧，消除画面顿挫感！

使用AI视频增强功能，智能生成内插帧，将24帧/秒或者30帧/秒的视频重制为48帧/秒或者60帧/秒，消除画面中的顿挫感。

超分算法，国际领先！

网宿联合帝视科技实现业界当前最高水平的超分算法，处于国际领先水平，超分算法的优劣决定了实际效果的差别。

评分优于谷歌RAISR

科普贴

PSNR：一种评价图像的客观标准，在经过技术处理后，输出的影像都会在某种程度与原始影像不同。PSNR可以比较中立的给出输出影像的评分，评分越高，代表失真越少，质量越高。

set5、set14：超分辨率领域中，国际通用的图像训练集。两个训练集都有10000张低质量图，10000张相同内容的高清图。将低质量图通过算法转成高清图后，与原始提供的高清图作对比，得出评分，所有评分取平均值即为最终评分。

最近两年，深度学习技术逐渐朝终端靠近，越来越多的应用在终端完成本地AI计算，终端设备的性能也越来越强，可预期到未来的市场上，终端设备的AI深度学习前景广阔。

分辨率重建和AI视频增强依托于网宿智慧云视频平台，网宿智慧云视频平台将人工智能和大数据技术赋能于整个视频服务环节，在运营智能化的基础上实现了产品智能化，由全球范围内的内容分发网络做支撑，完成从视频识别、处理、分发到播放的全链条产品AI智能化，为视频点播（短视频、长视频）、视频直播等业务全面护航。