WebRTC VoiceEngine综合应用示例（一）——基本结构分析

最新推荐文章于 2024-08-03 02:12:11 发布
最新推荐文章于 2024-08-03 02:12:11 发布
阅读量5.3k 收藏 12
点赞数 1
分类专栏： 音视频进阶之路 文章标签： webrtc 即时通信 audio 编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nonmarking/article/details/50574733
版权
本文深入分析了WebRTC的VoiceEngine，从自底向上的角度探讨了其基本结构，包括核心API、音频编码器（如G722）、预处理（如回音消除、增益控制）以及与音频设备的交互。通过对AudioEncoder、AudioDecoder、EchoCancellation等组件的解析，揭示了VoiceEngine如何实现音频编解码、预处理和网络适应等功能。
摘要由CSDN通过智能技术生成

把自己这两天学习VoiceEngine的成果分享出来，供大家参考，有什么问题也欢迎大家指出，一起学习一起进步。

本文将对VoiceEngine的基本结构做一个分析，分析的方法是自底向上的：看一个音频编码器是如何一层层被封装到VoiceEngine中的。

首先我们来看一下VoiceEngine的核心API，基本上就在webrtc\voiceengine\include的几个头文件中了。
具体来说，
voe_base
-支持G.711编码的、RTP传输的全双工VoIP应用，若要支持其他编码器，则需要VoECodec的支持
-初始化和销毁VoiceEngine实例
-通过文本或回调函数记录trace信息
-支持多channel（mixing或发送至多目标地址）

voe_codec
-支持其他编码器
-Voice Activity检测
-Possibility to specify how to map received payload types to codecs.

voe_dtmf
-Telephone event transmission.
-DTMF tone generation.

voe_errors
-错误信息

voe_external_media
-注册额外的音频处理功能

voe_file
-

了解本专栏 订阅专栏 解锁全文 超级会员免费看
zhanghui_cuc
关注
专栏目录
订阅专栏
【webrtc】WebRtcVoiceEngine
突围
10-22 445
上一篇，我们粗读了，视频引擎的核心 WebRtcVideoChannel 这一篇，我们对应看音频。 使用了webrtc实现的语音引擎库，用来支持音频的处理。 搭配到混合引擎：CompositeMediaEngine中。 // WebRtcVoiceEngine is a class to be used with CompositeMediaEngine. // It uses the WebRtc VoiceEngine library for audio handling. D:-dev\gerr..
WebRTC VoiceEngine使用简单Demo
red5research的专栏
02-20 684
Google收购的GIPS公司的音频处理技术是很牛的，现在开源了，这么好的技术应该拿来用的，这里就简单的介绍一下怎样使用VoiceEngine，欢迎大家拍砖指导。 WebRTC相关的VideoEngine和VoiceEngine的API详细说明文档：http://www.webrtc.org/system/app/pages/subPages?path=/reference/webrtc-int
远程访问Voice Engine AI工具：无需公网IP，轻松实现高效创作
最新发布
weixin_30760143的博客
08-03 49
在当前的AI技术发展中，除了文本和图像生成工具，音频生成技术也取得了显著的进步。3月30日凌晨，公司在官网首次展示了全新自定义音频模型“Voice Engine”。就是一个突破性的成果。通过VoiceEngine，用户可以利用一段简短的参考声音，生成逼真的全新音频内容。这项技术不仅在商业应用上有着广泛的前景，比如在有声读物...
Linux版基于WebRTC的GIPS VoiceEngine
06-27
Linux版基于WebRTC的GIPS VoiceEngine,包含源代码及Makefile，有问题请联系dotphoenix@qq.com
webrtc 音频引擎
Lce的专栏
08-06 507
对于不支持采集和播放 10 ms 音频数据的平台，在平台的 AudioDeviceModule 和 AudioDeviceBuffer 还会插入一个 FineAudioBuffer，用于将平台的音频数据格式转换为 10 ms 的 WebRTC 能处理的音频帧。（3）iOS除了提供的可开关的AGC以外，还有一个AGC会一直工作，对信号的level进行微调；因为WebRTC 的音频流水线只支持处理 10 ms 的数据，不同的操作系统平台提供了不同的采集和播放时长的音频数据，不同的采样率也会提供不同时长的数据。.
WebRtc VoiceEngine代码解析
好记性不如写博客！
06-22 1365
WebRtc中VoiceEngine可以完成大部分的VOIP相关人物，包括采集、自动增益、噪声消除、回声抑制、编解码、ＲＴＰ传输。下边我们通过代码来解析Voe中处理流程； 创建VoiceEngine和VoEBase [cpp] VoiceEngine* _vePtr = VoiceEngine::Create();                               //
WebRTC VoiceEngine综合应用示例（二）——音频通话的基本流程
张晖的专栏
01-25 5060
下面将以实现一个音频通话功能为示例详细介绍VoiceEngine的使用，在文末将附上相应源码的下载地址。这里参考的是voiceengine\voe_cmd_test。 第一步是创建VoiceEngine和相关的sub-apis   // // Create VoiceEngine related instance // webrtc::VoiceEngine* ptrVoE = NU...
使用WebRTC搭建前端视频聊天室——入门篇1
08-03
WebRTC（Web Real-Time Communication）是一项技术，旨在让浏览器具备实时通信的能力，无需依赖外部插件或服务器中转。这项技术由谷歌发起并开源，现在已被Chrome、Opera、Firefox等主流浏览器广泛支持。WebRTC的...
使用WebRTC搭建前端视频聊天室——信令篇1
08-03
1. 浏览器之间交换建立通信的元数据（信令）必须通过服务器 2. 为了穿越NAT和防火墙 1. 用来控制通信开启或者关闭的连接控制消息 2. 发生错误时用来彼此
使用WebRTC搭建前端视频聊天室——点对点通信篇1
08-03
一些背景：- 老刘和老姚都住在同一个小区但不同的片区，小区很破旧，没有电话- 片区相互隔离且片区门口有个保安，保安只认识自己片区的人，遇到不认识的人就需要查询凭
WebRTC Video/Voice Engine 音视频引擎
06-13
基于最新版本的WebRTC封装的High Level的音视频引擎SDK，支持如下功能： 提供一个简单的呼叫控制协议 音频： 支持729，711，iLBC，GSM，ISAC等多种Codec 支持RTP/RTCP 支持EC（Echo Control），VAD，NS等 支持WindowsWave和WindowsCore 视频： 支持VP8 支持Direct3D和DirectShow
android版基于webrtc的gips voice engine
11-25
新版基于WebRTC的Android版音频引擎（VoiceEngine)源代码，修改了若干bugs，去除了时间限制，支持AGC/EC/NS，支持RTP/SRTP,支持iLBC/iSAC/PCMU/PCMA等，可以联系dotphoenix@qq.com获得帮助
webrtc封装sdk（三）VoiceEngine的使用方法
热门推荐
我是榜样的博客
01-05 2万+
WebRtc中VoiceEngine的使用方法 webrtc中的VoiceEngine是用来管理语音通道channel的类 提供了控制语音整个过程的接口 VoiceEngine的实现类VoiceEngineImpl通过继承的方式将很多不同类型的接口集成在了一个类对象中。 这些接口一共分为以下几种类型： VoiceEngine ：基础接口，可以设置log文件路径，创建VoiceEngineImpl...
WebRTC音频引擎是如何实现的
liveweb视频汇聚平台
10-17 132
1. WebRTC音频引擎整体架构WebRTC音频引擎的实现代码主要分布在如下几个源码目录中：WebRTC音频引擎的整体架构如图1所示。图1 WebRTC音频引擎的整体架构从整个WebRTC框架结构来看，音频引擎和和视频引擎都位于比较底层的位置，负责音视频数据的采集、编解码、渲染播放等工作。
VoiceEngine之voice hardware Demo
RealPresence and Media Collaboration 专栏
06-25 1346
Target:  利用webrtc  voice engine 获取音频媒体设备信息 点击(此处)折叠或打开 #include "webrtc\voice_engine\include\voe_base.h" #include "webrtc\voice_engine\include\voe_hardware.h" #include "webrtc\voice_en
webrtc中是如何处理音频数据的？
公众号：BennuCTech
11-25 2266
前言 本文是基于PineAppRtc项目https://github.com/thfhongfeng/PineAppRtc） 在webrtc中音频的录制和播放都是封装在内部，一般情况下我们也不需要关注，直接使用即可。 但是最近有一个需求，需要将我们自己的数据进行传输，所以就需要将这些接口暴露出来使用。所以就需要去研究一下它的源码，就有了这篇文章。 音频引擎 在webrtc中其实是有不只一套音频引擎的，其中有native层的使用OpenSL ES实现的，另外还有一套java层通过android api实现的。
【Android】使用msysgit编译Android下的C文件
Oo8_8oO
02-09 1341
前提，已经写好了C代码   1.写mk文件 在你的C代码所在的jni目录新建一个mk文件，在本例中该文件内容如下： LOCAL_PATH := $(callmy-dir)   include$(CLEAR_VARS)   LOCAL_MODULE    := libg722 LOCAL_SRC_FILES := \ g722_decode.c \ g7
webrtc来一个示例
03-22
好的，以下是一个基于 WebRTC 的视频通话示例： ```html <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>WebRTC Video Chat Example</title> </head> <body> <video id="localVideo" autoplay></video> <video id="remoteVideo" autoplay></video> <script> // Get local video stream navigator.mediaDevices.getUserMedia({ video: true, audio: true }) .then(function(stream) { var localVideo = document.getElementById('localVideo'); localVideo.srcObject = stream; }) .catch(function(error) { console.log('getUserMedia error: ', error); }); // Create PeerConnection var pc = new RTCPeerConnection(); // Add local stream to PeerConnection var localStream = document.getElementById('localVideo').srcObject; localStream.getTracks().forEach(function(track) { pc.addTrack(track, localStream); }); // Handle incoming remote stream pc.ontrack = function(event) { var remoteVideo = document.getElementById('remoteVideo'); remoteVideo.srcObject = event.streams[0]; }; // Create offer and set local description pc.createOffer() .then(function(offer) { return pc.setLocalDescription(offer); }) .then(function() { // Send offer to remote peer console.log('Local description set:', pc.localDescription); }) .catch(function(error) { console.log('createOffer error: ', error); }); </script> </body> </html> ``` 这个示例使用 `getUserMedia` 方法获取本地视频和音频流，并将其添加到 `RTCPeerConnection` 中。然后，它创建一个 offer 并将其设置为本地描述符，最后将 offer 发送给远程对等端。当远程对等端接收到 offer 后，它将创建一个 answer 并将其设置为远程描述符，然后将 answer 发送回来。一旦本地和远程描述符都设置好了，视频通话就可以开始了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhanghui_cuc

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值