WebRTC系列--带宽估计影响码率和硬件编码H264 simulcast

已于 2022-10-21 18:14:45 修改
阅读量3.9k 收藏 8
点赞数 3
分类专栏： WebRTC进阶 文章标签： webrtc
于 2021-05-14 14:43:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lym594887256/article/details/116791244
版权
本文深入分析了WebRTC中带宽估计如何影响码率和硬件编码H264 simulcast的实现。从编码器创建、simulcast控制到帧数据传递、分辨率和帧率调整策略，探讨了码率控制和帧率控制的细节，特别是FrameDropper类在丢帧策略中的作用。此外，还涉及了硬件资源检测和帧率调整的策略，为理解WebRTC中视频流的优化提供了深入见解。
摘要由CSDN通过智能技术生成

目录

1. 编码器创建分析

1.1 simulcast 的个数控制(numberOfSimulcastStreams)

  • std::vector 创建
    在应用层启用了simulcast后，WebRTC里会根据ssrc(planB sdp)的个数生成对应多个std::vector<VideoStream>,创建过程在source/video/video_stream_encoder.cc的void VideoStreamEncoder::ReconfigureEncoder()函数，下面开始分析源码处理过程:
 std::vector<VideoStream> streams = encoder_config_.video_stream_factory-><
了解本专栏 订阅专栏 解锁全文 超级会员免费看
简简单单lym
关注
专栏目录
订阅专栏
WebRTC系列-音频优先级(流的优先级控制)
HOSTEN的博客
05-22 979
音频对流的实时性要求比较高，对流的连续性要求也有较高要求，本文从带宽分配和发包的优先级两方面，分析WebRTC中的是怎么处理音频的；
WebRTC系列-漏桶算法FrameDropper
HOSTEN的博客
05-24 783
本文将详细介绍WebRTC中QOS中对于帧率控制的核心方法，编码前帧的控制主要使用漏桶算法类DropFramel来控制是否丢弃某一个帧；通过本文你可以根据自己去调着漏桶算法，实现一些特殊的需求；
WebRTC对Simulcast的支持
sandfox的博客
08-12 2811
最近在调研基于WebRTC的Simulcast的方案，发现WebRTC 1.0的草案里面已经有了Simulcast的相关定义，并且举出了相关的例子。   EXAMPLE 15 var signalingChannel = new SignalingChannel(); var configuration = { "iceServers": [{ "urls": "stuns:stun.exa...
WebRTC带宽估计
fishmai的专栏
04-09 9342
带宽估计可能是WebRTC视频引擎中最重要的一部分了。带宽估计（BWE）模块的任务是决定你可以发送多大的视频流且不会造成网络拥塞，以此来保证不会降低视频质量。          在以前的带宽估计算法还是十分基础的，大体上是基于丢包而设计的。通常我们在开始慢慢的增加视频的比特率，直到我们检测到丢包为止。为了检测丢包，你使用标准的RTCP反馈，其中接收端使用RTCP接收端报告（RR）信息来周期性
深入浅出WebRTC—DelayBasedBwe
最新发布
程序员老六的专栏
07-19 2258
基于延迟的带宽估计，以处于非 ALR 状态的 ACK 码率为基础，基于延迟梯度估计链路真实带宽，实现对链路带宽的动态跟踪，算法的核心逻辑可以表述为：1）网络过载，说明网络产生拥塞，当前发送码率过高，需要降低发送码率。2）网络欠载，说明网络正在排空，不要急着提升发送码率，先保持当前发送码率一段时间。3）网络正常，可以试着增加发送码率，探测下带宽的上限。同时，在网络非过载状态下，使用探测带宽对估计值进行校正，使估计更加精准。算法在计算延迟梯度、判断网络使用状况都做了精心的设计，会尽量排除随机噪声的干扰。
webrtc h264 simucast
csdn9990的博客
01-26 692
webrtc-SVC+simulcast改造 1.simulcast+SVC打开 Copy std::string str[] = {"low", "medium", "high"}; std::string msid[] = {"l", "m", "h"}; //double pri = 0.8; //添加初始化参数，在此处设置时域层数，push 多少webrtc::RtpEncodingParameters就是多少层simulcast webrtc::RtpTransceiverInit.
WebRTC Simulcast测试--用Janus
chenquangobeijing的专栏
09-02 653
RTP扩展头，Identifier是10，6c是l，表示low那路，ssrc是0xcfe94bdc。Simulcast：客户端将三层流同时发布，其它客户端拉流时，根据网络情况，选择一种。H264没有simulcast，直接改var doSimulcast = true--echotest.js。SDP新增的字段：rtp加了扩展头rtp-stream-idrtp-stream-id。声网用的Simulcast分层，zoom和思科用的svc。simulcast是三路流，用不同的ssrc表示。
WebRTC simulcast
温故而知新
06-26 1959
简介 Simulcast 可以翻译成联播，不是新闻联播，而是多个媒体流的传播，如图所示 注: SFU 即 Selective Forward Unit, 媒体转发服务器 刚开始，发送方 sender 发送一路 1080p 的视频流给服务器 SFU， SFU 再转发给多个接收方 receiver1, receiver2 和 receiver3。 一会儿，receiver 2 和 recei...
webRTC sdp b=AS:600 x-google-min-bitrate 带宽码率那些事
qq_38491882的博客
01-19 3340
发送端两个sdp片段：SetLocalDescription，SetremoteDescription; SetLocalDescription: b=AS:600 a=rtcp:9 IN IP4 0.0.0.0 a=ice-ufrag:gY3K a=ice-pwd:1HSgJcvP5SkTGcJ8uiixrdqe a=ice-options:trickle a=fingerprint:sha-256 BC:7A:18:73:C5:BF:A3:9D:06:BC:13:A6:AC:99:0C:6B:BE:.
WebRTC的带宽分配(1): 流级别分配
yinshipin007的博客
02-28 756
今天来聊一聊WebRTC的带宽分配(BWA，Bandwidth Allocation)，带宽分配是将带宽估计（BWE，Bandwidth Estimation）的结果分配到不同的流上面。整个带宽估计不仅仅涉及如何分配估计结果到每一路流，还涉及如何分配用于保护的冗余码率，对于视频来说还需要考虑如何分配simulcast、SVC每一层的码率，甚至是如何决策视频流的暂停。因篇幅限制，代码细节这里不再详细介绍。至于不同的流如何去分配带宽到编码和冗余上，以及simulcast和SVC如何分配，我们将在下篇介绍。
《WebRTC工作原理精讲》系列-总览
liuzhen007的专栏
12-22 4203
前言 欢迎大家订阅Data-Mining 的《WebRTC工作原理精讲》专栏。 这里简单的罗列一下专栏的文章目录，一方面方便大家阅读，另一方面让大家对专栏可以有一个整体的认识。 正文 WebRTC[1]-WebRTC中h264解码过程的源码分析 WebRTC[2]-WebRTC丢包重传大解密 WebRTC[3]-WebRTC设置simulcast内部逻辑 WebRTC[4]-WebRTC中JitterBuffer的运行机制 WebRTC[5]-WebRTC拥塞控制之REMB and GCC.
WebRTC系列-移动端硬件编码支持Simulcast
cffishappy的专栏
11-26 975
写在开头: 本篇文章扩展自Simulcast这篇文章，这篇文章只写了个大概，这里细说实现细节;以下的功能实现都是在M76版本源码。 联播在H264EncoderImpl 实现 在移动端的WebRTC的native源码中H264有两种实现：基于系统的硬件支持的h264和在h264_encoder_impl.cc(video_coding/codecs/h264/)中实现的openH264软件编码; 硬件的Simulcast功能除了本文的描述有一种(这种方案已经在实际羡慕中测试验证),软件H264的实现是基于
WebRTC系列-- 带宽估计参数及限制编码器编码码率流程
HOSTEN的博客
05-13 1246
文章目录发送端带宽估计核心类 SendSideBandwidthEstimation带宽估计限制参数参数设置流程视频编码器的速率调整评估码率分配核心类BitrateAllocatorAddObserver方法AllocateBitrates 方法音频码率调整及参数 发送端带宽估计核心类 SendSideBandwidthEstimation 带宽估计限制参数 SendSideBandwidthEstimation 是发送端带宽估计的核心处理类;在其中的头文件中有三个关键参数: DataRate curr
webrtc模块之带宽预测Prober
qq_22658119的博客
07-30 2761
prober
webrtc 带宽估计
EveryDayOneHour的博客
02-06 2814
1、整体架构： 此图是接收端码率控制整体结构图分成3个部分。 第一部分采集和发送：camera encode通过Pacer并结合fec发送。 第二部分基于延时的码率计算（卡尔曼模型）。 第三部分是结合丢包和延时计算出综合码率发送编码器。 2 发送端基于丢包率的码率控制 接收端维护两个计数器，每收到一个RTP包都更新： transmitted，接收到的RTP包的总数； ret...
WebRTC Simulcast介绍
impingo的博客
07-22 808
👇Simulcast是WebRTC中最酷的功能之一,它允许WebRTC会议在参与者网络连接不可预测的情况下进行扩展。在这篇文章中,我们将深入探讨Simulcast的工作原理,以及它如何与像LiveKit这样的SFU协作,以支持更大规模的WebRTC会议。
webrtc发送端带宽预测
occupy8的专栏
10-27 2677
当接收侧感知到2-10%丢包率，发送端的预测值不变。当实际丢包率超过预测值10%时，新的预测值可更新为As_hat(i)= As_hat(i-1)(1-0.5p)，其中p为丢包率。当实际丢包率小于2%时预测时可更新为As_hat(i)= 1.08(As_hat(i-1))+0.5+1000，其中p为丢包率。其中p是rtcp里的丢包率 void SendSideBandwidthEstimatio
漫谈 WebRTC 一: 何谓Simulcast， WebRTC中的Simulcast
热门推荐
闲敲棋子落灯花
11-05 1万+
写作本文的初衷是： 前些日子为WebRTC设计Simulcast, 把所有相关的代码又重新阅读了一遍， 想着WebRTC代码结构复杂， 代码量巨大， Google的release迭代改动快， 改动量大， 代码常读常忘， 忘了再读， 也许应该写点啥东西保存起来。 适之先生说， 要使你所得印象变成你自己的， 最有效的方式是记录或者表现成文章。 故此不揣浅薄， 记录一些东西， 以为未来参考， 也算是响
WebRTC系列-网络之带宽估计和码率估计(1)
HOSTEN的博客
10-18 779
之前写过一篇WebRTC带宽评估的文章，这篇文章主要介绍设置参数对WebRTC带宽评估接口的影响以及带宽评估后的结果对于音视频编解码器码率的影响；以这篇文章为开篇，接下来重点开始分析WebRTC中的网络模块中的重点拥塞控制及带宽评估；webrtc版本:M76。
Vue3实现基于WebRTC和WebRTC-Streamer的直播推流指南
WebRTC是一个支持网页浏览器进行实时语音对话或视频对话的API，而webrtc-streamer是一个基于WebRTC的流媒体服务器，它能够将WebRTC流进行转发和处理。本文将结合前端使用Vue3框架，来构建一个基于WebRTC技术的直播...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

简简单单lym

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值