WebRTC音视频引擎研究(2)--VoiceEngine音频编解码器数据结构以及参数设置

最新推荐文章于 2023-08-13 19:00:14 发布
最新推荐文章于 2023-08-13 19:00:14 发布
阅读量531 收藏
点赞数
分类专栏： WebRTC


http://blog.csdn.net/temotemo/article/details/7531711


WebRTC技术交流群：234795279


1、VoiceEngine Codec数据结构

       WebRTC中，用一个结构体struct CodecInst表示特定的音频编解码器对象：

[cpp]  view plain  copy
  1. struct CodecInst  
  2. {  
  3.     int pltype;      //payload type负载类型  
  4.     char plname[32]; //payload name负载名称，32个字符表示  
  5.     int plfreq;      //payload frequence负载频率  
  6.     int pacsize;     //packet size包大小  
  7.     int channels;    //声道  
  8.     int rate;        //速率或自适应  
  9. };  

参数详细说明：


1、 pltype范围在1~126之间才是有效值；

        pltype的值是否有效可以通过调用下面ValidPayloadType(int payload_type)方法来判断，在...\src\modules\audio_coding\main\source\acm_codec_database.cc定义

[cpp]  view plain  copy
  1. // Checks if the payload type is in the valid range.  
  2. bool ACMCodecDB::ValidPayloadType(int payload_type) {  
  3.   if ((payload_type < 0) || (payload_type > 127)) {  
  4.     return false;  
  5.   }  
  6.   return true;  
  7. }  


2、 plname是编解码器的名称，可能的值在CreateCodecInstance已定义，如WebRTC默认的"ISAC"

        VoiceEngine支持多个音频编解码器，具体支持的编解码器在CreateCodecInstance(const CodecInst* codec_inst)定义，比如ISAC\PCMU\PCMA\ILBC\AMR等等，在...\src\modules\audio_coding\main\source\acm_codec_database.cc定义


[cpp]  view plain  copy
  1. ACMGenericCodec* ACMCodecDB::CreateCodecInstance(const CodecInst* codec_inst) {  
  2.   // All we have support for right now.  
  3.   if (!STR_CASE_CMP(codec_inst->plname, "ISAC")) {  
  4. #if (defined(WEBRTC_CODEC_ISAC) || defined(WEBRTC_CODEC_ISACFX))  
  5.     return new ACMISAC(kISAC);  
  6. #endif  
  7.   } else if (!STR_CASE_CMP(codec_inst->plname, "PCMU")) {  
  8.     return new ACMPCMU(kPCMU);  
  9.   } else if (!STR_CASE_CMP(codec_inst->plname, "PCMA")) {  
  10.     return new ACMPCMA(kPCMA);  
  11.   } else if (!STR_CASE_CMP(codec_inst->plname, "ILBC")) {  
  12. #ifdef WEBRTC_CODEC_ILBC  
  13.     return new ACMILBC(kILBC);  
  14. #endif  
  15.   } else if (!STR_CASE_CMP(codec_inst->plname, "AMR")) {  
  16. #ifdef WEBRTC_CODEC_AMR  
  17.     return new ACMAMR(kGSMAMR);  
  18. #endif  
  19.   } else if (!STR_CASE_CMP(codec_inst->plname, "AMR-WB")) {  
  20. #ifdef WEBRTC_CODEC_AMRWB  
  21.     return new ACMAMRwb(kGSMAMRWB);  
  22. #endif  
  23.   } else if (!STR_CASE_CMP(codec_inst->plname, "G722")) {  
  24. #ifdef WEBRTC_CODEC_G722  
  25.     return new ACMG722(kG722);  
  26. #endif  
  27.   } else if (!STR_CASE_CMP(codec_inst->plname, "G7221")) {  
  28.     switch (codec_inst->plfreq) {  
  29.       case 16000: {  
  30. #ifdef WEBRTC_CODEC_G722_1  
  31.         int codec_id;  
  32.         switch (codec_inst->rate) {  
  33.           case 16000 : {  
  34.             codec_id = kG722_1_16;  
  35.             break;  
  36.           }  
  37.           case 24000 : {  
  38.             codec_id = kG722_1_24;  
  39.             break;  
  40.           }  
  41.           case 32000 : {  
  42.             codec_id = kG722_1_32;  
  43.             break;  
  44.           }  
  45.           default: {  
  46.             return NULL;  
  47.           }  
  48.           return new ACMG722_1(codec_id);  
  49.         }  
  50. #endif  
  51.       }  
  52.       case 32000: {  
  53. #ifdef WEBRTC_CODEC_G722_1C  
  54.         int codec_id;  
  55.         switch (codec_inst->rate) {  
  56.           case 24000 : {  
  57.             codec_id = kG722_1C_24;  
  58.             break;  
  59.           }  
  60.           case 32000 : {  
  61.             codec_id = kG722_1C_32;  
  62.             break;  
  63.           }  
  64.           case 48000 : {  
  65.             codec_id = kG722_1C_48;  
  66.             break;  
  67.           }  
  68.           default: {  
  69.             return NULL;  
  70.           }  
  71.           return new ACMG722_1C(codec_id);  
  72.         }  
  73. #endif  
  74.       }  
  75.     }  
  76.   } else if (!STR_CASE_CMP(codec_inst->plname, "CN")) {  
  77.     // For CN we need to check sampling frequency to know what codec to create.  
  78.     int codec_id;  
  79.     switch (codec_inst->plfreq) {  
  80.       case 8000: {  
  81.         codec_id = kCNNB;  
  82.         break;  
  83.       }  
  84.       case 16000: {  
  85.         codec_id = kCNWB;  
  86.         break;  
  87.       }  
  88.       case 32000: {  
  89.         codec_id = kCNSWB;  
  90.         break;  
  91.       }  
  92.       default: {  
  93.         return NULL;  
  94.       }  
  95.     }  
  96.     return new ACMCNG(codec_id);  
  97.   } else if (!STR_CASE_CMP(codec_inst->plname, "G729")) {  
  98. #ifdef WEBRTC_CODEC_G729  
  99.     return new ACMG729(kG729);  
  100. #endif  
  101.   } else if (!STR_CASE_CMP(codec_inst->plname, "G7291")) {  
  102. #ifdef WEBRTC_CODEC_G729_1  
  103.     return new ACMG729_1(kG729_1);  
  104. #endif  
  105.   } else if (!STR_CASE_CMP(codec_inst->plname, "speex")) {  
  106. #ifdef WEBRTC_CODEC_SPEEX  
  107.     int codec_id;  
  108.     switch (codec_inst->plfreq) {  
  109.       case 8000: {  
  110.         codec_id = kSPEEX8;  
  111.         break;  
  112.       }  
  113.       case 16000: {  
  114.         codec_id = kSPEEX16;  
  115.         break;  
  116.       }  
  117.       default: {  
  118.         return NULL;  
  119.       }  
  120.     }  
  121.     return new ACMSPEEX(codec_id);  
  122. #endif  
  123.   } else if (!STR_CASE_CMP(codec_inst->plname, "CN")) {  
  124.     // For CN we need to check sampling frequency to know what codec to create.  
  125.     int codec_id;  
  126.     switch (codec_inst->plfreq) {  
  127.       case 8000: {  
  128.         codec_id = kCNNB;  
  129.         break;  
  130.       }  
  131.       case 16000: {  
  132.         codec_id = kCNWB;  
  133.         break;  
  134.       }  
  135.       case 32000: {  
  136.         codec_id = kCNSWB;  
  137.         break;  
  138.       }  
  139.       default: {  
  140.         return NULL;  
  141.       }  
  142.     }  
  143.     return new ACMCNG(codec_id);  
  144.   } else if (!STR_CASE_CMP(codec_inst->plname, "L16")) {  
  145. #ifdef WEBRTC_CODEC_PCM16  
  146.     // For L16 we need to check sampling frequency to know what codec to create.  
  147.     int codec_id;  
  148.     switch (codec_inst->plfreq) {  
  149.       case 8000: {  
  150.         codec_id = kPCM16B;  
  151.         break;  
  152.       }  
  153.       case 16000: {  
  154.         codec_id =kPCM16Bwb;  
  155.         break;  
  156.       }  
  157.       case 32000: {  
  158.         codec_id = kPCM16Bswb32kHz;  
  159.         break;  
  160.       }  
  161.       default: {  
  162.         return NULL;  
  163.       }  
  164.     }  
  165.     return new ACMPCM16B(codec_id);  
  166. #endif  
  167.   } else if (!STR_CASE_CMP(codec_inst->plname, "telephone-event")) {  
  168. #ifdef WEBRTC_CODEC_AVT  
  169.     return new ACMDTMFPlayout(kAVT);  
  170. #endif  
  171.   } else if (!STR_CASE_CMP(codec_inst->plname, "red")) {  
  172. #ifdef WEBRTC_CODEC_RED  
  173.     return new ACMRED(kRED);  
  174. #endif  
  175.   }  
  176.   return NULL;  
  177. }  



3、 plfreq一般取如下值（在common_types.h定义）；

[cpp]  view plain  copy
  1. //负载频率值  
  2. enum PayloadFrequencies  
  3. {  
  4.     kFreq8000Hz  = 8000,  
  5.     kFreq16000Hz = 16000,  
  6.     kFreq32000Hz = 32000  
  7. };  

4、 pacsize取值是与plfreq有关系的，单位为kbps，下面是计算公式

计算公式如下：

         如果：plfreq = 16000(单位为hz)

         如果我需要30ms（毫秒）的packet size

         那么pacsize = (plfreq *30) /1000 = 480kbps；

也即是：要得到k ms的packet size，则可计算出

                 pacsize =( plfreq * k) / 1000

而如果plfreq = 32000；20ms的packet size，则pacsize  = 640；


5、 channels取值

        channels = 1 表示单声道

        channels = 2 表示立体声道

        注意：channels  = -1时，表示此时只支持单声道模式


6、 rate取值，单位是bps

        一般取rate = 16000,32000，48000这些16000整数倍的值，即16kbps，32kbps,48kpbs

        注意：当rate = -1时，表示此时启动自适应信道速率


2、查看VoiceEngine支持的所有Codec信息示例代码

[cpp]  view plain  copy
  1. //列出（获得）引擎支持的所有编解码器信息  
  2. //支持平台:Windows, Mac OS X, Linux  
  3.   
  4. #include "voe_base.h"  
  5. #include "voe_codec.h"  
  6.   
  7. VoiceEngine* ve = VoiceEngine::Create();  
  8. VoECodec* codec = VoECodec::GetInterface(ve);  
  9.   
  10. for (int = 0; i < codec->NumOfCodecs(); i++)  
  11.   
  12. {  
  13.   
  14.    CodecInst cinst;  
  15.   
  16.    codec->GetCodec(i, cinst);  
  17.   
  18.    DISPLAY_CODEC_INFO(i, cinst);  
  19.   
  20. }  
  21.   
  22.   // 释放sub-API  
  23.   codec->Release();  
  24.   
  25.   //删除引擎  
  26.   VoiceEngine::Delete(ve);  

3、初始化VoiceEngine Codec示例代码

[cpp]  view plain  copy
  1. //初始化VoiceEngine Codec示例代码  
  2. //支持平台:Windows, Mac OS X, Linux  
  3.   
  4. #include "voe_codec.h"  
  5.   
  6. CodecInst cinst;  
  7.   
  8. //初始化iSAC编解码器参数  
  9. strcpy(cinst.plname, "ISAC");  
  10.   
  11. cinst.plfreq   = 16000; // iSAC宽带模式取样频率  
  12. cinst.pltype   = 103;   
  13. cinst.pacsize  = 480;   //使用30ms packet size，480kbps  
  14. cinst.channels = 1;     // 单声道  
  15. cinst.rate     = -1;    // 信道自适应模式  
  16. //初始化完成  
  17.   
  18. //在ID为0的channel激活已初始化的iSAC  
  19. codec->SetSendCodec(0, cinst);  


欢迎指出不对之处：zengxijin@qq.com

/==================================================================================================================/
    Author: zengxijin    zengxijin@qq.com     欢迎转载，请注明出处
/==================================================================================================================/

俄罗斯方块高手
关注
专栏目录
WebRTC音视频引擎研究(1)--整体架构分析
曾锡金
05-03 5万+
WebRTC技术交流群：234795279 原文地址：http://blog.csdn.net/temotemo/article/details/7530504 1、WebRTC目的                WebRTC（Web Real-Time Communication）项目的最终目的主要是让Web开发者能够基于浏览器（Chrome\FireFox\
WebRTC Video/Voice Engine 音视频引擎
06-13
基于最新版本的WebRTC封装的High Level的音视频引擎SDK，支持如下功能： 提供一个简单的呼叫控制协议 音频： 支持729，711，iLBC，GSM，ISAC等多种Codec 支持RTP/RTCP 支持EC（Echo Control），VAD，NS等 支持WindowsWave和WindowsCore 视频： 支持VP8 支持Direct3D和DirectShow
webRTC的音频和视频引擎的使用
菩提树上的专栏
06-05 3315
webRTC的音频和视频引擎的使用   2013-05-09 13:27:33|  分类： webrtc |举报 |字号 订阅 应群里哥们的要求,现把怎么使用webrtc音频和视频的demo放出来.代码格式很烂,各位看客凑合的看吧,也懒得整理了. #include #include #include #include #include #includ
WebRTC中的音频
qq_28306529的博客
09-11 3088
对WebRTC是如何处理音频的感兴趣？本文包括一个简单的WebRTC音频demo，会给你展示如何获取音频设备，如何实时的检测数据流中产生的变化。 引文 设想一个场景：你等了好久的重要视频通话终于要进行了，花了几分钟检查一下头发是不是凌乱，牙缝上没有菜叶，自己打扮的光鲜亮丽。现在你打开了浏览器，粘贴会议链接。你看到另一端的人已经上线了，所以你非常兴奋的点了“加入”按钮，清清嗓子打个招呼。你看见对...
WebRTC学习进阶之路 --- 一、概述、原理、源码目录结构与整体架构介绍
SmallBottle-CGWLMX的博客
11-23 3526
片头语：在学习WebRTC首先最好具备一定的音视频相关基础知识，可以参考https://blog.csdn.net/xiaomucgwlmx/article/details/102838490，里边有很详细的介绍总结以供参考，接下来让我们一起来认识一下WebRTC。 WebRTC学习进阶之路系列总目录：https://blog.csdn.net/xiaomucgwlmx/article/deta...
WebRTC音频引擎实现分析
yinshipin007的博客
12-28 485
本文在深入分析WebRTC关于音频引擎实现代码的基础上，首先给出了WebRTC音频引擎的整体框架，然后静态分析了其实现上的若干重要对象，最后完整分析了音频数据从采集到播放的完整流动过程。通过本文，对WebRTC有了更深入的认识和体会，为未来进一步学习打下坚实基础。作者：weizhenwei★文末名片可以免费领取音视频开发学习资料，内容包括（FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）以及音视频学习路线图等等。见下方!
解析5G时代音视频 WebRTC音频引擎实现分析
Linux高级开发的博客
05-22 1134
前言 5G时代的到来 音视频的崛起 多少又真正了解音视频的开发呢？想学习转行？却还在为技术担忧吗？ 音视频学习大纲 小编分享一篇webrtc视频解析 音视频开发第十八讲|CC++程序员进入互联网公司的捷径-WebRTC开发|流媒体|音视频开发| 更多音视频开发、c/c++ Linux服务器高阶知识、电子书籍、视频等等可以点击链接加入群聊【linux后台服务架构交流】 WebRTC的音频引擎作为两大基础多媒体引擎之一，实现了音频数据的采集、前处理、编码、发送、接收、解码、混音、后处...
WebRTC入门与提高1-WebRTC原理
yinshipin007的博客
09-08 481
这一点释放了大量智能终端（或运行在智能终端上的app）的实时通信能力，打开了许多对于实时交互性要求较高的应用场景的想象空间，譬如在线教育、视频会议、视频社交、远程协助、远程操控等等都是其合适的应用领域。主要是给无法在公网环境下的视频通话设备分配公网IP用的。，在多人视频聊天的时候，本地带宽压力较小，并且，根据Google的说明，TURN协议可以使用在所有的环境中。从官网上的描述我们可以知道，WebRTC是一个免费的开放项目，它通过简单的API为浏览器和移动应用程序提供实时通信（RTC）功能。
webrtc vp8_rtp抓包样例
10-29
在webrtc系统上捕获的VP8无FEC、SRTP的RTP报文，用于VP8协议分析。
WebRTC音频系统 音频发送和接收
shichaog的专栏
02-04 4616
在交互式实时通信场景中，实时通信音频数据的编码发送不同于直播场景 RTMP 之类的推流方案不同，实时通信的实时性优先，而直播场景的可靠性优先，因而实时通信场景上层一般采用UDP/RTP协议，而直播推流场景采用RTMP/TCP协议，实时通信的实时性优先，并不意味着质量要求不高，基于UDP传输的丢包、抖动乱序都会带来通信质量的下降，因而在接收端WebRTC采用了NetEQ技术，而在发送端则需要根据探测到的网络条件、接收端发回来的 RTCP 包来动态调整控制编码码率。创建并注册transport。
webrtc音频相关
skylark的总结
03-06 1705
1、采样的过程就是抽取某点的频率值，很显然，在一秒中内抽取的点越多，获取得频率信息更丰富，为了复原波形，一次振动中，必须有2个点的采样，人耳能够感觉到的最高频率为20kHz，因此要满足人耳的听觉要求，则需要至少每秒进行40k次采样，用40kHz表达，这个40kHz就是采样率。我们常见的CD，采样率为44.1kHz。 2、APM模块仅支持16k、32k和48k采样率。10ms音频数据。 3、NS
WebRTC本地选择codec
yinshipin007的博客
08-05 551
codec：编码译码器，编解码器。它是一个程序，也可以是算法，或者设备，用于编码（encode）和解码（decode）数据流。WebRTC能让两个web或者app之间建立音视频通信。通信过程中，数据流的格式必须被两边的设备支持。WebRTC提供了接口查询支持的codec，并且可以设置要使用的codec。本文演示选择视频codec的过程。示例用户可以在发送视频流之前选择codec。把支持的codec类型列出来，用户自行选择。开启视频后，建立连接前，我们可以选择设置codec。
WebRTC音视频通话-新增或修改SDP中的码率Bitrate限制
一名开发者
08-13 1933
WebRTC音视频通话-新增或修改SDP中的码率Bitrate限制参数这里WebRTC音视频通话过程中修改SDP中的码率Bitrate。
webrtc Codec生成相关
weixin_34015860的博客
09-26 296
1. sdp video codec生成 InternalEnc...
WebRTC音视频引擎研究(2)--VoiceEngine音频编解码器数据结构以及参数设置 .
red5research的专栏
02-20 571
[+] VoiceEngine Codec数据结构参数详细说明 查看VoiceEngine支持的所有Codec信息示例代码初始化VoiceEngine Codec示例代码 1、VoiceEngine Codec数据结构        WebRTC中，用一个结构体struct CodecInst表示特定的音频编解码器对象： [cpp] view pl
CentOS下编译webrtc2sip实战
常想一二
11-13 484
[b][size=x-large]0、引言[/size][/b] 在研究WebRTC服务端画面合成和混音处理，需要实现浏览器端与服务器端的点对点，网上找了好些参考的项目，webrtc2sip项目就是其中之一，该项目基于doubango的框架，需要自行编译搭建环境，根据webrtc2sip中的《技术指南1.0》（注：《technical guide1.0》）文档进行了编译，本文记录编译过程及相关问...
WebRTC VideoEngine综合应用示例（二）——集成OPENH264编解码器
热门推荐
张晖的专栏
08-25 1万+
本系列目前共三篇文章，后续还会更新 WebRTC VideoEngine综合应用示例（一）——视频通话的基本流程 WebRTC VideoEngine综合应用示例（二）——集成OPENH264编解码器 WebRTC VideoEngine综合应用示例（三）——集成X264编码和ffmpeg解码 关注下方公众号，回复“webrtc视频通话”，查看源码地址，是一个可以脱离webrtc那个大项目...
webrtc-streamer支持哪些音频和视频编解码器？
最新发布
11-27
webrtc-streamer支持多种音频和视频编解码器，包括MPEG，H.265，H.264，H.263 +，DV或JPEG视频以及几种音频编解码器。具体支持哪些编解码器可以参考官方存储库中的更多详细信息和完整选项。 另外，我们很难抉择应该...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值