WebRTC系列-音频优先级(流的优先级控制)

已于 2023-05-25 14:30:27 修改
阅读量1k 收藏 2
点赞数
分类专栏： WebRTC进阶 文章标签： webrtc 音视频
于 2023-05-22 22:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lym594887256/article/details/130760746
版权
本文深入探讨了WebRTC中音频优先级的控制策略，包括带宽分配优先级和pacer模块处理。在带宽分配中，重点分析了LowRateAllocation、NormalRateAllocation和按优先级分配的逻辑。在pacer模块，讲述了如何处理不同类型的包优先级，确保音频包的优先发送，以优化通话质量。
摘要由CSDN通过智能技术生成

文章目录


音频对流的实时性要求比较高，对流的连续性要求也有较高要求，本文从带宽分配和发包的优先级两方面，分析WebRTC中的是怎么处理音频的；

1. 带宽分配优先级

在前面的文章WebRTC系列-音/视频码率分配策略的文章中介绍了其添加各路流相关的接口，在文章WebRTC系列–带宽估计影响码率和硬件编码H264 simulcast的中的5.2. 多播码率控制类VideoBitrateAllocator介绍了联播多路流的分配策略；
主要的带宽分配逻辑是在BitrateAllocator::AllocateBitrates函数中，按照可分配值和所有流要求的最大和最小带宽，分为LowRateAllocation、NormalRateAllocation和MaxRateAllocation这三个函数处理；流程图如下：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
WebRTC系列-网络传输之7-ICE补充之偏好(preference)与优先级(priority)
HOSTEN的博客
06-24 1064
在RFC 5245文档的4.1.2.2中有一个关于选择类型和本地首选项的指南的章节。其中主要介绍了几种情况下的ice偏好的设置指导：在webrtc里的使用是默认根据和对端的协商的可能性来确定偏好，也就是按照条件1，默认是： ;这个的定义是在文件的函数，其中实现如下： 通过文章WebRTC系列-网络传输2之Candidate的收集及PortAllocator(二)我们知道最终的构造candidate是在方法中，那么断点调试后的结果： 更多的就不再截图，感兴趣的可以自己加断点调试在第一节中我们知道了ice中的
WebRTC系列-Qos系列之NetEQ-NetEqImpl
HOSTEN的博客
03-27 598
在文章介绍了抖动消除的基本概念，以及在WebRTC中的实现等；这篇文章降围绕NetEqImpl，展开源码分析，本文不会分析具体算法，主要是看起核心处理逻辑；
深入探索WebRTC中的PrioritizedPacketQueue：实现高效优先级处理“
最新发布
qq_44103359的博客
04-20 316
通过本文的详细讲解和实例演示，我们可以看到PrioritizedPacketQueue在WebRTC中的应用。该组件能够有效管理数据包的优先级，确保高优先级的数据包优先发送，从而提高WebRTC应用程序的性能和用户体验。随着技术的不断进步，我们有理由相信，PrioritizedPacketQueue将在未来发挥更大的作用，为WebRTC应用程序的性能优化提供更加灵活和高效的解决方案。
WebRTC 之音视频同步
liveweb视频汇聚平台
10-16 265
这个问题的原因主要在于音频的采集， 编码，传输， 解码， 播放与视频的采集，编码，传输，解码以及渲染一般是分开进行的，因为音频和视频采集自不同的设备，即它们的来源不同，在网络上传输也会有延迟，也由不同的设备进行播放，这样如果在接收方不采取措施进行时间同步，就会极有可能看到口型和听到的声音对不上的情况。在网络视频会议中， 我们常会遇到音视频不同步的问题， 我们有一个专有名词 lip-sync 唇同步来描述这类问题，当我们看到人的嘴唇动作与听到的声音对不上的时候，不同步的问题就出现了。
WebRTC音视频传输基础：NAT穿透
yinshipin007的博客
09-06 380
NAT(Network Address Translation)指的是网络地址转换，常部署在一个组织的网络出口位置。网络分为私网和公网两个部分，NAT网关设置在私网到公网的路由出口位置，私网与公网间的双向数据必须都要经过NAT网关。位于NAT后的是私网IP地址，分配给NAT的是公网IP地址。NAT通过将私网IP地址映射为公网IP地址，实现私网设备访问外部互联网的能力。组织内部的大量设备，通过NAT就可以共享一个公网IP地址，解决了IPv4地址不足的问题。同时NAT也起到隐藏内部设备，安全防护的作用。
流量的优先级
weixin_50795704的博客
01-09 733
QoS，英文全称Quality of Service（服务质量），在思考如何实现QoS的时候，可以把QoS模型主要分为两个部分： 1、抓取流量：对流量进行优先级的分类，打好标签以及存储 2、设置策略：按照不同的传输规则对不同类型的流量进行传输调度。 起初802.11并没有流量的优先级之分，所有的流量都被视为best-effort（尽最大努力交付的）流量。现在为了提供优先级，我们要对数据流量进行分类。 当数据包到达MAC层时，根据802.1d的映射关系（目前看到的官方指南都是这种写法，实际上是802.1p的映
【WebRTC---源码篇】（十三）WebRTC/Pacer
用可见的方式来记录和分享每一次收获
10-07 520
WebRTC/Pacer
【WebRTC---源码篇】（九）媒体协商与网络传输(持续更新)
用可见的方式来记录和分享每一次收获
06-06 349
媒体协商
WebRTC 系列之视频辅流
yinshipin007的博客
03-02 1069
随着业务的发展，一路视频流满足不了更多实际业务场景的需求，例如在多人视频聊天、网易会议以及其他在线教育场景下，需要同时发送两路视频流：一路是摄像头流，另一路是屏幕共享流。★文末名片可以免费领取音视频开发学习资料，内容包括（FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）以及音视频学习路线图等等。新的需求要求在同一会话中，可同时发送摄像头码流和屏幕共享码流，因此应把两路媒体的建议带宽值相加得到整个会话的建议带宽值，作为 CC 模块的估计值上限。
Webrtc音频技术（未完）
qq_15821883的博客
07-27 1100
Webrtc音频技术
【网络通信 -- WebRTC】WebRTC 基础知识 -- ICE 交互总结
CopperSun 技术博客
08-09 2633
【网络通信 -- WebRTC】WebRTC 基础知识 -- ICE 交互总结 【1】ICE 的一般概念简介 ICE 角色 offer (主动发起)的一方为 controlling 角色 answer (被动接受)的一方为 controlled 角色 full ice agent 必须是 controlling role，lite ice agent 是 controlled；srs 仅支持 lite ice ICE 模式 FULL ICE，双方都要进行连通性检查；ice 客户
webrtc 音频QOS方法（汇总篇）
CrystalShaw的博客
02-26 5481
一、概述 音频的QOS可以分：音频前处理3A算法、NetEQ两大类。 二、音频前处理3A算法 1）AEC AEC (Acoustic Echo Cancellation) 回声消除算法 IOS和ANDROID系统都使用内置的AEC算法。只有windows使用webrtc的AEC算法。配置过程请参见 WebRtcVoiceEngine::Init ->WebRtcVoiceEn...
webRTC中音频相关的netEQ（四）：控制命令决策
谈谈音频开发
10-22 1766
上篇（webRTC中音频相关的netEQ（三）：存取包和延时计算）讲了语音包的存取以及网络延时和抖动缓冲延时的计算，MCU也收到了DSP模块发来的反馈报告。本文讲MCU模块如何根据网络延时、抖动缓冲延时和反馈报告等决定发给DSP模块的控制命令， 好让DSP模块先对取出的语音包做解码处理（如果有的话）以及根据这些命令做信号处理。 MCU模块给DSP模块发的控制命令主要有正常播放（normal...
白话解读 WebRTC 音频 NetEQ 及优化实践
阿里云CloudImagine
03-16 1440
NetEQ 是 WebRTC 音视频核心技术之一，对于提高 VoIP 质量有明显的效果，本文将从更为宏观的视角，用通俗白话介绍 WebRTC 中音频 NetEQ 的相关概念背景和框架原理，以及相关的优化实践。 作者｜ 良逸审校｜ 泰一 为什么要 “白话” NetEQ? 随便搜索一下，我们就能在网上找到很多关于 WebRTC 中音频 NetEQ 的文章，比如下面的几篇文章都是非常不错的学习资料和参考。特别是西安电子科技大学 2013 年吴江锐的硕士论文《WebRTC 语音引擎中 NetEQ 技术的研究》，非.
WebRTC 音频处理流程(二) 预解复用部分
whchang8的专栏
08-07 3244
1、 上一篇文章已将大概流程图画出来，这一篇文章开始分析预解复用部分，就是算WebRTC核心音频处理算法实现部分。AGC 是自动增益补偿部分（Automatic Gain Control），AGC 可以自动调整麦克风的收音量，使得声音输出保持一定的音量水平，不会因为发声者与麦克风的距离改变时，声音忽大忽小。AEC、AECM是回声消除部分（Acoustic Echo Chancellor） ，AEC
webrtc调试RtpEncodingParameters类中的network_priority和bitrate_priority参数，作用在音频RTP发送包中。
qq_40179343的博客
10-12 820
参数分析： network_priority：此编码的相对区分服务代码点优先级，允许在不影响带宽分配的情况下将数据包标记为相对较高或较低。 在webrtc_voice_engine.cc的WebRtcAudioSendStream类中可以观察到 config_.has_dscp = rtp_parameters_.encodings[0].network_priority != webrtc::Priority::kLow; 说明此参数影响到dscp，通过SetRtpSendPar...
WebRTC音频处理流程简介
Charles' home
06-24 1554
本文概要介绍webRTC的音频处理流程，见下图： webRTC将音频会话抽象为一个通道Channel，譬如A与B进行音频通话，则A需要建立一个Channel与B进行音频数据传输。上图中有三个Channel，每个Channel包含编解码和RTP/RTCP发送功能。 以一个Channel而言，应用程序中将包含三个活动线程，录音线程，音频接收线程和播放线程。 1）录音线程：
webrtc 研究-带宽控制
liuhongxian的专栏
12-06 2584
带宽控制上行带宽控制 webrtc/modules/bitrate_controller 下行带宽估计 remote_bitrate_estimator
webrtc进阶-信令篇-之三：信令、stun、turn、ice
热门推荐
北雨南萍
03-02 2万+
webRTC支持点对点通讯，但是webRTC仍然需要服务端：  . 协调通讯过程中客户端之间需要交换元数据，    如一个客户端找到另一个客户端以及通知另一个客户端开始通讯。  . 需要处理NAT（网络地址转换）或防火墙，这是公网上通讯首要处理的问题。    所以我们需要了解服务端相关的知识：信令、Stun、trun、ice。 一、什么是信令 信令就是协调通讯的过程，为了建立一个w
基于WebRTC p2p技术的videortc服务器缓存机制解析
1. WebRTC技术基础：WebRTC是一种免费开源项目，允许网络应用或站点，在不需要中间媒介的情况下，建立浏览器之间点对点（Peer-to-Peer）的连接，实现视频流和（或）音频流或者其他任意数据的传输。WebRTC包括了音频...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

简简单单lym

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值