WebRTC音频处理流程概述

最新推荐文章于 2024-08-09 08:27:57 发布

灯等等凳

最新推荐文章于 2024-08-09 08:27:57 发布

阅读量9.1k

点赞数 4

分类专栏：音频架构通用技术文章标签： webrtc 音频处理结构算法

本文链接：https://blog.csdn.net/ssdzdk/article/details/39577335

版权

本文深入探讨WebRTC的Audio Processing Module (APM)，包括AudioFrame、EchoCancellation、EchoControlMobile、GainControl、HighPassFilter、LevelEstimator、NoiseSuppression和VoiceDetection等核心组件。APM分为近端和远端流，对麦克风输入和接收数据进行处理，旨在提升音频通信质量。

摘要由CSDN通过智能技术生成

摘要：本文主要介绍WebRTC的APM。

WebRTC强大的技术和易用性在此不再累述。研究了RTC那么久的时间，在国内的社区和论坛鲜见详细介绍其中具体技术的文章和讨论。因此准备花点时间总结一下自己对WebRTC 的Audio Processing Module 的理解。希望国内能有更多做音频算法的同行集思广益，推进音频技术的发展。

现在主要介绍一下audio_processing.h。

首先插入了几个类，这些都是audio_processing的核心模块。

class AudioFrame;
class EchoCancellation;
class EchoControlMobile;
class GainControl;
class HighPassFilter;
class LevelEstimator;
class NoiseSuppression;
class VoiceDetection;

这里大体介绍一下这几个类的功能和应用场景。

AudioFrame：主要记录了通道基本信息，数据，VAD标志时间戳，采样频率，信道数等。

EchoCancellation：回声消除模块（AEC），在使用外置扬声器的时候应该使用，有些使用耳麦通讯的情况也会存在回声（因为麦克风与扬声器有空间或者电的弱耦合），如果影响了通话也应该开启。

EchoControlMobile：回声抑制模块（AES），这个模块和回声消除模块功能相似，但是实现方法不一样。该模块使用定电话实现，运算量也远远小于回声消除模块。非常适合移动平台使用。但是对语音损伤大。

GainControl：增益控制模块（AGC