【WebRTC】NetEQ概述

WebRTC由语音引擎,视频引擎和网络传输三大模块组成,其中语音引擎是WebRTC中最具价值的技术之一。


WebRTC语音引擎由一系列音频和网络处理模块组成,包括了从音频采集到网络传输等处理流程的完整解决方案。


语音引擎工作流程图

语音引擎的一般工作流程如下:

1.发起端进行声音采集

2.采集到的声音信号进行回声消除,噪音抑制,自动增益控制处理

3.语音压缩编码

4.通过Internet网路传输到接收端

5.到达接收端,先进入NetEQ模块进行抖动消除,丢包隐藏解码等操作

6.将处理过后的音频数据送入声卡设备进行播放


NetEQ模块是Webrtc语音引擎中的核心模块


NetEQ模块框图

从上图看,NetEQ模块基本上分为:自适应缓冲器(Adaptive Packet Buffer),语音解码器(Speech Decoder),抖动控制和丢包隐藏(Jitter Control and Error Concealment) 以及播放(Play Out)四大部分。其中抖动控制和丢包隐藏模块是NetEQ的核心算法,既控制着自适应缓冲器,又与解码器进行紧密的交互,并且将最终的计算结果交给声卡去播放。


WebRTC的语音引擎在运行时会启动两个线程:一个线程用于接收来自于网络的数据包,并将其插入到抖动缓冲区中;另外一个线程每隔10ms从NetEQ中提取10ms语音数据进行播放。

网络数据包进入抖动缓冲区的过程在:

int32_t ACMNetEQ::RecIn(const uint8_t* incoming_payload, const int32_t length_payload, const WebRtcRTPHeader& rtp_info, uint32_t receive_timestamp)

提取10ms语音数据到声卡的过程在:

int32_t ACMNetEQ::RecOut(AudioFrame& audio_frame)



评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值