图像视频降噪的现在与未来——从经典方法到深度学习

Photo by Jason Rosewell on Unsplash

噪声是图像与视频中的一种常见失真类型，也是腾讯多媒体实验室以及腾讯云提供的多种失真处理能力之一。本分享总结了噪声产生的几个原因，从理论上分析降噪的基本原理，并介绍了使用传统方法和深度学习进行单帧降噪、多帧降噪和视频降噪的技术。

文 / 李松南

整理 / LiveVideoStack

1.  简介

1.1 腾讯多媒体实验室

大家好，我是来自腾讯多媒体实验室的李松南，本次分享将为大家介绍传统降噪和深度学习降噪方法，以及降噪技术未来的发展趋势。腾讯多媒体实验室专注于多媒体技术领域的前沿技术探索、研发、应用和落地，在长期积累中精心打造出三大核心能力，分别是：音视频编解码、网络传输和实时通信；多媒体内容处理、分析、理解和质量评估；沉浸式媒体系统设计和端到端解决方案。本次分享中的内容就属于多媒体内容处理的一部分。

上图是腾讯多媒体实验室常年积累起来的视频处理能力，包括视频降噪、去压缩失真、视频去抖动、夜景增强、视频超分、视频锐化等，这些能力已经应用于腾讯的许多产品，比如腾讯云、全民K歌、企鹅电竞、微视、QQ空间等。目前团队正在向腾讯云推出画质修复功能，已经开发和计划开发的技术，包括视频超分、去伪影、去抖动、去划痕与雪花、插帧、HDR，还有下面主要介绍的视频降噪技术。

 

1.2 噪声的来源

图像、视频从采集到播放的整个生命周期中会经历各种各样的处理过程，比如采集、剪辑、编码、转码、传输、显示等，每个处理过程都会引入失真。“噪声”就是在信号采集过程中引入的一种普遍失真。降低噪声强度可以使图像主观效果更好。另外，在图像、视频压缩时也不必浪费码率在编码噪声上。同时，会使得视频编码中的运动估计更准确、熵编码速度更快。

 

噪声的来源有多种，其中最主要的部分来自光子散粒噪声。上图描述的是从感光元器件收集到光子，一直到生成数字图像的过程。首先感光元器件把光子转换成电子，电子形成电压，电压放大后量化，最终形成数字图像。光子散粒噪声在感光元器件接收光子时就发生了。