WebRtc性能自适应

最新推荐文章于 2024-04-22 13:37:55 发布
最新推荐文章于 2024-04-22 13:37:55 发布
阅读量445 收藏
点赞数
分类专栏： 音视频开发 文章标签： webrtc 算法 人工智能 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yinshipin007/article/details/129337054
版权

1、基本流程

WebRTC中提供了一个根据CPU占用动态调整编码能力的策略，其中CPU占用率没有从系统读取，而是使用编码时长相对采集间隔的占比来估计。主要流程如下：

流程

上述的流程运行于编码线程，由VideoStreamEncoder每隔5s触发一次检查（前3次不做任何处理）。OveruseFrameDetector是一个根据编码时长和采集间隔估计当前性能的管理类，ProcessingUsage是性能估计类，输出编码时长与采集间隔的比值。OveruseFrameDetector检测到overuse或者underuse会回调到VideoStreamEncoder，做AdaptDown或者AdaptUp。

2、编码占用率计算

编码占用率计算接口为OveruseFrameDetector::ProcessingUsage，实现类SendProcessingUsage1。大概原理：占用率=编码时长/采集间隔，通过编码时长估计当期性能，如果编码时长超过采集间隔，那么当前性能肯定存在瓶颈。这里的编码时长和采集间隔使用指数滤波平滑。 详细实现可以见源码，这里没有必要过多介绍了。

3、Overuse和Underuse的检测

如何获取性能的指标usage_percent我们先按下不表，先看下如何得到overuse和uderuse这两个输出信号。OveruseFrameDetector根据当前编码占用率判断是否为overuse或者underuse，再根据这两个信号AdaptDown或者AdaptUp。

判断为Overuse的条件：

boolOveruseFrameDetector::IsOverusing(intusage_percent) {

// 使用率超过overuse的阈值，一般为90

if (usage_percent>=options_.high_encode_usage_threshold_percent) {

++checks_above_threshold_;

} else {

checks_above_threshold_=0;

}

// 连续2次超过阈值才认为是overuse

returnchecks_above_threshold_>=options_.high_threshold_consecutive_count;

}

判断为Underuse的条件：

boolOveruseFrameDetector::IsUnderusing(intusage_percent, int64_ttime_now) {

// 当前performance上升(ramp up)，需要超过一定时长，否则不认为已经是underuse

intdelay=in_quick_rampup_?kQuickRampUpDelayMs : current_rampup_delay_ms_;

if (time_now<last_rampup_time_ms_+delay)

returnfalse;

​

// 低于阈值(一般overuse阈值的一半)就是underuse

returnusage_percent<options_.low_encode_usage_threshold_percent;

}

上面uderuse中，ramp up有一个delay，这个delay不是固定不变的，需要根据实际情况调整。这称作overuse退避，为了避免频繁在overuse和underuse之间切换，所以需要对上升做限制，需要满足一定的时长。

  • Quick ramp up时的阈值为kQuickRampUpDelayMs（10s）

  • 非quick ramp up时，需要做退避。

  • overuse->underuse->overuse时，如果距离最后一次ramp up时间小于40s或者连续4次检测overuse，为了避免频繁变换或者避免容易进入overuse，需要对ramp up的时长做x2退避，限制最大ramp up delay为240s。

  • 检测到overuse时，后续ramp up需要做退避；检测到underuse时，后续ramp up做quick ramp up。

退避相关算法如下：

boolcheck_for_backoff=last_rampup_time_ms_>last_overuse_time_ms_;

if (check_for_backoff) {

if (now_ms-last_rampup_time_ms_<kStandardRampUpDelayMs||

num_overuse_detections_>kMaxOverusesBeforeApplyRampupDelay) {

// Going up was not ok for very long, back off.

current_rampup_delay_ms_*=kRampUpBackoffFactor;

if (current_rampup_delay_ms_>kMaxRampUpDelayMs)

current_rampup_delay_ms_=kMaxRampUpDelayMs;

} else {

// Not currently backing off, reset rampup delay.

current_rampup_delay_ms_=kStandardRampUpDelayMs;

}

}

另外，overuse、underuser检测阈值可以配置，主要使用CpuOveruseOptions来配置。比如针对单核、双核系统overuse阈值可以降低到20、40，阈值调整到100以上可以disable自适应功能。

4、AdaptDown

当性能不足时需要做视频降级，视频降级有几种策略：

  • BALANCED，帧率和分辨率之间平衡

  • MAINTAIN_FRAMERATE，保帧率，调整分辨率

  • MAINTAIN_RESOLUTION，保分辨率，调整帧率

4.1MAINTAIN_FRAMERATE

这次adapt down的分辨率需要比上次请求的小（否则就是ramp up了），否则不调整。

分辨率选择通过VideoStreamEncoder::VideoSourceProxy::RequestResolutionLowerThan实现：

boolRequestResolutionLowerThan(intpixel_count,

intmin_pixels_per_frame,

bool*min_pixels_reached) {

...

// MAINTAIN_FRAMERATE或者BALANCED时才能调整分辨率

if (!source_||!IsResolutionScalingEnabled(degradation_preference_)) {

returnfalse;

}

// 根据像素个数来做分辨率选择，像素个数变为原来的3/5

constintpixels_wanted= (pixel_count*3) /5;

if (pixels_wanted>=sink_wants_.max_pixel_count) {

returnfalse;

}

// 分辨率降低有限制

if (pixels_wanted<min_pixels_per_frame) {

*min_pixels_reached=true;

returnfalse;

}

​

// 更新sink wants到source

sink_wants_.max_pixel_count=pixels_wanted;

sink_wants_.target_pixel_count=absl::nullopt;

source_->AddOrUpdateSink(video_stream_encoder_,

GetActiveSinkWantsInternal());

returntrue;

}

4.2MAINTAIN_RESOLUTION

帧率不能低于降低到2帧以下。

分辨率选择通过VideoStreamEncoder::VideoSourceProxy::RequestFramerateLowerThan实现：

webrtc：

intRequestFramerateLowerThan(intfps) {

// 帧率降低到2/3

intframerate_wanted= (fps*2) /3;

returnRestrictFramerate(framerate_wanted) ?framerate_wanted : -1;

}

​

boolRestrictFramerate(intfps) {

...

// MAINTAIN_RESOLUTION或BALANCED时才能降低帧率

if (!source_||!IsFramerateScalingEnabled(degradation_preference_))

returnfalse;

// 帧率不能降低到2fps

constintfps_wanted=std::max(kMinFramerateFps, fps);

if (fps_wanted>=sink_wants_.max_framerate_fps)

returnfalse;

// 更新sink wants到source

sink_wants_.max_framerate_fps=fps_wanted;

source_->AddOrUpdateSink(video_stream_encoder_,

GetActiveSinkWantsInternal());

returntrue;

}

4.3 BALANCED

有时候需要在帧率和分辨率之间找一个平衡点（最新的WebRTC代码中使用BalancedDegradationSettings来实现，这里以老代码为例）。balace采取先降帧率，再降分辨率的策略，即先RestrictFramerate，再走MAINTAIN_FRAMERATE逻辑。

先限制帧率：

intMinFps(intpixels) {

if (pixels<=320*240) {

return7;

} elseif (pixels<=480*270) {

return10;

} elseif (pixels<=640*480) {

return15;

} else {

returnstd::numeric_limits<int>::max();

}

}

再走再走MAINTAIN_FRAMERATE逻辑调整分辨率。

5、AdaptUp

当检测性能处于underuse的时候，视频能力需要升级。和AdaptDown一样，也有三种方式，BALANCED、MAINTAIN_FRAMERATE、MAINTAIN_RESOLUTION。

这里对向上调整做了限制，只有向下调整过才能向上调整。

5.1MAINTAIN_FRAMERATE

boolRequestHigherResolutionThan(intpixel_count) {

...

// MAINTAIN_FRAMERATE或者BALANCED时才能调整分辨率

if (!source_||!IsResolutionScalingEnabled(degradation_preference_)) {

returnfalse;

}

​

// 像素x4上调

intmax_pixels_wanted=pixel_count;

if (max_pixels_wanted!=std::numeric_limits<int>::max())

max_pixels_wanted=pixel_count*4;

​

if (max_pixels_wanted<=sink_wants_.max_pixel_count)

returnfalse;

​

sink_wants_.max_pixel_count=max_pixels_wanted;

if (max_pixels_wanted==std::numeric_limits<int>::max()) {

// Remove any constraints.

sink_wants_.target_pixel_count.reset();

} else {

sink_wants_.target_pixel_count=GetHigherResolutionThan(pixel_count);

}

​

// 更新sink wants到source

source_->AddOrUpdateSink(video_stream_encoder_,

GetActiveSinkWantsInternal());

returntrue;

}

5.2MAINTAIN_RESOLUTION

和AdaptUp类似，也是按照固定倍数上调。

intRequestHigherFramerateThan(intfps) {

// 调整速率，down是2/3，up是3/2

intframerate_wanted=fps;

if (fps!=std::numeric_limits<int>::max())

framerate_wanted= (fps*3) /2;

​

returnIncreaseFramerate(framerate_wanted) ?framerate_wanted : -1;

}

5.3 BALANCED

先升分辨率，再升帧率（走MAINTAIN_FRAMERATE逻辑）。

intMaxFps(intpixels) {

if (pixels<=320*240) {

return10;

} elseif (pixels<=480*270) {

return15;

} else {

returnstd::numeric_limits<int>::max();

}

}

6、总结

总结一下，性能自适应代码逻辑也不是很负载，主要的思想也就几点：

  • 采取编码时长占采集间隔的比例得到性能的估计

  • 根据性能估计得到overuse、underuse信号做adapt down和adapt up

  • 从overuse到underuse需要谨慎，避免频繁切换

  • 向上调整和向下调整策略主要有三个：保帧率、保分辨率、帧率和分辨率平衡。

原文https://zhuanlan.zhihu.com/p/352435623

★文末名片可以免费领取音视频开发学习资料，内容包括（FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）以及音视频学习路线图等等。

见下方!↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓

音视频开发老马
关注
专栏目录
WebRTC系列-Simulcast 联播/多播路数限制及各路视频分辨率缩放比例设置 RTPSender
HOSTEN的博客
09-28 1554
联播路数的控制 WebRTC中联播路数主要是看ssrc的个数，ssrc的控制主要是googNumSimulcastLayers，次参数主要在peer创建的参数optionConstraints中设置，值类型是字符串;iOS中使用如下: NSMutableDictionary<NSString*,NSString*> *mandatoryConstraints = [NSMutableDictionary dictionary]; RTCMediaConstraints *offerConst
纯JS实现WebRTC点对点视频通话用于学习WebRTC
qq_36001082的博客
02-27 2717
1. 页面代码主要的实现逻辑 先看页面代码,这里使用的webRTC浏览器原生的API。目前信令服务器使用的是Java SpringBoot WebSocket实现的。这里是在内网环境下测试，如果在公网环境中测试还需要配置STUN\TURN服务器，在代码iceServers处配置。 <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>video</title&g
转：Webrtc video framerate/resolution 自适应
wzw88486969的专栏
12-17 2308
转：https://xie.infoq.cn/article/50b7931b8a023f8ca7f25d4e9 一，引言 音视频会议使用者的设备性能往往是参差不齐的，当我们一味的去追求视频的高清，高流畅，忽略设备性能时，就会出现用户抱怨设备发热，掉电快，视频卡顿，掉帧等问题，因此就需要一种策略根据当前设备性能情况来动态的调整视频码率/帧率，为用户提供更好音视频体验感。本文主要讲 webrtc 如何实现这一策略的。 二，Video 自适应策略 用户开启网络视频会议一般会有文档模式和视频模式两种使用场景，文档
安卓开发Webview RTC 适配
yangwubolwg的博客
04-22 1448
之前的音视频文件适配提供给前端的方式，都是通过input标签，而这次前端的使用方式很明显不是这种，查了一下tracking.js的实现原理，得到了getUserMedia这种方式，在html5中的使用，进而才了解到webRTC适配这个事情, 安卓默认没有授权。在混合开发方式中，项目前端使用了tracking.js 开发了一个人脸识别功能，但是在安卓端无法成功调用摄像头进行视频捕获，在浏览器中可以正常使用该功能。//判断是否包含了视频 和 音频 两种，分别转化为对应的安卓权限。//WebRTC 适配。
WebRTC自适应控制算法
站在人文与技术的交汇点
04-19 2032
该文章系总结性文章，主要参考一下文章： 1、webrtc视频jitterbuffer原理机制(描述版) - 简书 http://www.jianshu.com/p/bd10d60cebcd 2、WebRTC视频接收缓冲区基于KalmanFilter的延迟模型 - 简书 http://www.jianshu.com/p/bb34995c549a 3、WebRTC基于GCC的拥塞控制(上) ...
解决WebRTC中不同的浏览器之间适配的问题
wangchaoqi1985的博客
08-26 517
解决WebRTC中不同的浏览器之间适配的问题
WebRTC中的自适应流控制算法分析与应用
WebRTC概述 WebRTC（Web Real-Time Communication）是一种实时通信技术，允许浏览器之间进行点对点的音频、视频和数据传输，无需任何插件或其他第三方软件支持。WebRTC基于开放的标准和协议，如HTML5、Web Socket...
完结15章音视频高手突围课-WebRTC企业级高性能后台服务实战
最新发布
05-07
- **高级技术剖析**：除了基本原理，还将探讨WebRTC的高级功能，如自适应流媒体传输、多路复用等。 - **项目实战演练**：学员将在指导下完成一个完整的WebRTC企业级应用项目，涵盖需求分析、设计、编码到测试全过程...
RTSP-> WebRTC服务器，生成CPU使用情况报告-Golang开发
05-26
rtsp-bench是一台WebRTC服务器，它从RTSP提要中提取，然后通过WebRTC重新分发。 它生成带有CPU使用率和已连接PeerConnection计数的report.csv。 生成使用情况报告的RTSP Bench RTSP服务器，包括Web / CLI客户端！ rtsp-bench是一台WebRTC服务器，它从RTSP提要中提取，然后通过WebRTC重新分发。 它生成带有CPU使用率和已连接PeerConnection计数的report.csv。 此存储库包含一个CLI WebRTC客户端，它将连接并执行负载测试。 这是通过托管在：8080 / doSignaling上的REST API来完成的。 您也可以通过Web UI观看视频/负载测试：8080 /，它通过相同的R连接
Webrtc中的网络自适应与质量控制策略详解
WebRTC（Web Real-Time Communication）是一种开放的实时通信技术，它允许浏览器和移动应用程序之间进行音频、视频和数据的实时传输，无需任何插件或扩展程序。WebRTC基于多种技术标准，包括实时传输协议（RTP）、...
三问 WebRTC 视频编码分辨率
liuwenchang1234的专栏
09-15 1531
众所周知，WebRTC 自带带宽预测功能，可以根据设置的视频降级策略，选择保流畅（MAINTAIN_FRAMERATE）还是保清晰（MAINTAIN_RESOLUTION）或是均衡策略(BALANCED)。故此，有以下三问： 1. 视频编码的最大分辨率如何限制？ 2. 视频编码的起始分辨率如何确定？ 3. 视频编码的最小分辨率如何保证？
【webrtc-streamer】关于webrtc-streamer使用时CPU占用过高处理方式记录
liutian_ye的博客
11-22 3717
关于解决webrtc-streamer占用CPU过高问题记录
WebRTC帧率调整策略
chinabinlang的专栏
03-22 9611
与实时视频相关参数包含：帧率、码率、时延、抖动等。帧率体现了视频的流畅性，要想达到较好的流畅性体验要求——网络视频帧率不低于24帧，视频会议帧率不低于15帧。在实际开发中，我们遇到了不少问题，主要包括：发送端帧率较低接收端帧率较低帧率波动较大本文主要研究WebRTC中的帧率调整策略，解决上述实际开发中帧率较低的问题，以期达到较好的流畅性体验。帧率计算方法帧率并非恒定值，帧率大小反映的是每秒多少视频...
WebRTC库在Android端后台运行时内存和功耗高的问题修改
爱上程序员
12-21 1721
1、在房间数超过10个后，so底层库在创建socket时报文件句柄太多导致tombstone的问题 怀疑是libjingle的so被加载多次，导致占用内存过大引起，解决方法：修改PeerconnectionClient中的PeerconnectionFactory对象factory为单实例对象，多个房间共享一个factory，经过验证，可以创建20多个房间都不在产生这个现象。 2、后台运行时，...
webRTC 框架下的视频主动丢帧
Es_trella的博客
08-06 1708
互联网之上的视频传输经常会遇到网络不稳定，终端性能不足等问题。将有限资源的能力最大化，提供良好的视频体验，是视频传输方案一直追逐的目标。除了不断优化软硬件的处理能力，可以采用的方法不外乎调整视频清晰度（分辨率），丢帧，调整编码码率等体验损伤性手段，来提供降级的服务。本文重点关注在丢帧的使用上，以webRTC m79基线h264编解码为参考探讨一下丢帧手段的使用。 视频传输关键路径 要了解丢帧的发生最好先了解视频传输的全路径，之前写了视频传输的关键路径，可以先行阅读https://xie.infoq.cn/a
webrtc分辨率和比特率--问题集锦
每一天都有新的希望
12-25 8517
webrtc分辨率和比特率--问题集锦
WebRTC之带宽控制部分学习(1) ------基本demo的介绍
DreamMaker
06-06 7115
WebRTC的代码真是非常之大啊，下载以及编译了我好几天才搞完。。。。。 可以看到WebRTCd代码分成了4个部分，目前为止只看了talk里的一些东西。       1、 talk中的项目文件大多数都是以libjingle开头的，可以看出libjingle是WebRTC中非常核心的一个东西啦。        libjingle中开辟了两个通道，分别为会话通道和数据通道，一个用来会话建立管理等
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值