噪声是图像与视频中的一种常见失真类型,也是腾讯多媒体实验室以及腾讯云提供的多种失真处理能力之一。本分享总结了噪声产生的几个原因,从理论上分析降噪的基本原理,并介绍了使用传统方法和深度学习进行单帧降噪、多帧降噪和视频降噪的技术。
文 / 李松南
整理 / LiveVideoStack
1. 简介
1.1 腾讯多媒体实验室
![810b4546914a0497f8d6dcbb1078b913.png](https://i-blog.csdnimg.cn/blog_migrate/f80ad5d6b674a86c2a67d8dae4b9b123.jpeg)
大家好,我是来自腾讯多媒体实验室的李松南,本次分享将为大家介绍传统降噪和深度学习降噪方法,以及降噪技术未来的发展趋势。腾讯多媒体实验室专注于多媒体技术领域的前沿技术探索、研发、应用和落地,在长期积累中精心打造出三大核心能力,分别是:音视频编解码、网络传输和实时通信;多媒体内容处理、分析、理解和质量评估;沉浸式媒体系统设计和端到端解决方案。本次分享中的内容就属于多媒体内容处理的一部分。
![6917e170b0d5afa50108363fadb077dc.png](https://i-blog.csdnimg.cn/blog_migrate/22d6460b04678a5967e733abee523b6c.jpeg)
上图是腾讯多媒体实验室常年积累起来的视频处理能力,包括视频降噪、去压缩失真、视频去抖动、夜景增强、视频超分、视频锐化等,这些能力已经应用于腾讯的许多产品,比如腾讯云、全民K歌、企鹅电竞、微视、QQ空间等。目前团队正在向腾讯云推出画质修复功能,已经开发和计划开发的技术,包括视频超分、去伪影、去抖动、去划痕与雪花、插帧、HDR,还有下面主要介绍的视频降噪技术。
1.2 噪声的来源
![65c60333e0aeda0edf4423c9229f97f9.png](https://i-blog.csdnimg.cn/blog_migrate/7cff9601b70b974535ec19bfbe784c1c.jpeg)
图像、视频从采集到播放的整个生命周期中会经历各种各样的处理过程,比如采集、剪辑、编码、转码、传输、显示等,每个处理过程都会引入失真。“噪声”就是在信号采集过程中引入的一种普遍失真。降低噪声强度可以使图像主观效果更好。另外,在图像、视频压缩时也不必浪费码率在编码噪声上。同时,会使得视频编码中的运动估计更准确、熵编码速度更快。
![9a95696f4fe4535fb4d09a19106660e9.png](https://i-blog.csdnimg.cn/blog_migrate/b9da52fe46328cca10a94e9c9933c03c.jpeg)
噪声的来源有多种,其中最主要的部分来自光子散粒噪声。上图描述的是从感光元器件收集到光子,一直到生成数字图像的过程。首先感光元器件把光子转换成电子,电子形成电压,电压放大后量化,最终形成数字图像。光子散粒噪声在感光元器件接收光子时就发生了。
![a094f6c101077c4b872c87ff92421ab6.png](https://i-blog.csdnimg.cn/blog_migrate/471e4c7b571f892b542b8f584b385b10.jpeg)
即使光线是完全平坦的,感光元器件每个像素接受到的光子个数也是不同的。像素接收到光子个数的分布,符合一个经典的离散概率分布模型—泊松分布。上图中右侧是泊松分布的数学公式,他的均值是λ,标准差是√λ,而均值和标准差分别对应了信号以及噪声的强度。均值和标准