腾讯技术开放日 | 全面解析腾讯会议的视频前处理算法

腾讯开发者

于 2020-05-24 13:11:39 发布

阅读量3.5k

点赞数 3

分类专栏：产品技术文章标签：腾讯

本文链接：https://blog.csdn.net/karamos/article/details/106313750

版权

腾讯会议通过视频前处理提升用户体验，包括虚拟背景、美颜和降噪等功能。虚拟背景算法包括数据采集、模型训练和优化，采用编码-解码结构，利用多任务约束提升准确性。美颜功能则包含预处理、全局美化和局部调整，以适应不同机型和噪声环境，确保性能与效果的平衡。

摘要由CSDN通过智能技术生成

在视频通话中，视频前处理模块可以有效提升用户参与实时视频时的体验，并保护用户隐私，主要包括虚拟背景、美颜和视频降噪等。腾讯会议在视频前处理场景下，遇到哪些技术难点，如何进行优化？【腾讯技术开放日 · 云视频会议专场】中，腾讯云高级工程师李峰从算法和工程优化的角度进行了分享。

视频前处理场景探索

视频是连续的，在转播的时候需要经过编码和解码的流程，所以视频处理需要分为前处理和后处理。所谓前处理就是指编码前的视频处理，比如背景虚化。所谓后处理就是指解码后的视频处理，比如视频超分。

有哪些前处理算法可以应用在视频会议的处理场景下呢？理想情况下，多多益善，能够想到的都可以落地，但是考虑到会议场景的计算资源非常有限，而且要不影响其它高优先级的服务，所以需要挖掘用户最迫切的需求，利用有限的计算资源为用户提供更好的视频体验。

数据分析发现会议场景下大家开摄像头的比例不是很高，我们分析主要有三个原因：第一担心泄漏隐私，第二不够自信，第三画质不好。针对这几个点腾讯会议陆续推出了虚拟背景、美颜、视频降噪、暗场景增强等一系列的处理算法。

虚拟背景可以很好的保护用户隐私，创造一个公平的环境，这里贴了一个用户的反馈，这是一个在线课堂老师反馈虚拟背景可以为许多孩子取消歧视，让家庭背景、家庭条件不再成为孩子的负担。美颜的话，相信大家都是非常了解，也是经常用的，它可以鼓励大家参与到视频通话的场景中来。视频降噪可以降低摄像头的噪声，消除灯光造成闪烁的问题，进而提升视频画面的质量。暗场景增强可以提升暗光场景下的视频体验。