webrtc QOS方法七（摄像头采集帧率调整）

最新推荐文章于 2024-07-23 10:17:20 发布
最新推荐文章于 2024-07-23 10:17:20 发布
阅读量4.8k 收藏 8
点赞数 6
分类专栏： WebRTC视频QoS方法汇总
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CrystalShaw/article/details/87875177
版权

一、发现问题

使用罗技C270摄像头，进行webrtc视频通话QOS测评时发现，在网络0延时，0丢包时，GetStats打印摄像头采集到的帧率一直持续在15-17fps，无法达到摄像头标注的30fps的采集能力。在17fps下视频通话，视频质量有轻微的顿挫感，流畅性不好。

检查CPU占有率、编码解码时间，都没有异常。按理来说性能是可以达到30fps的实时通讯能力的。

二、分析问题

1、首先确认到底是不是摄像头采集出来的帧率就低，还是系统调度慢，导致采集帧率低。

     使用ffmpeg/potplay/amcap多个视频采集软件，打开本地摄像头，查看采集帧率的打印，发现摄像头采集帧率真的就这么低。

     ffmpeg的命令行如下：

     ffmpeg -list_devices true -f dshow -i dummy （显示要采集摄像头设备名称）

     ffmpeg -f dshow -i video="Logitech C270" -r 30 -vcodec libx264 -acodec copy -preset:v ultrafast -tune:v zerolatency out.ts

     

2、确认是摄像头问题后 ，就头脑风暴了一把，怀疑摄像头采集的是场编码，不是帧编码，但是确认摄像头是按帧采集，视频帧率还是升不上来。

3、没办法，只能梳理摄像头成像及采集原理。

从视频采集到视频成像，里面有很多概念+原理。其中有个光圈、快门、自动曝光，这个过程有可能影响视频采集帧率。

摄像头一般会开启AE（自动曝光）功能，当开启这个功能后，这三个参数需要符合下面这个关系式：（APEX(The Additive System of Photographic Exposure)，它是由美国国家标准机构ASA，为了方便计算胶片机的曝光参数，提出的一个经验公式，也称为曝光方程）

其中，T表示曝光时间，A表示光圈值(即常说的F-number)，B表示环境光平均亮度，S表示是相机感度。K是任意常数，一般由相机厂商决定，它和相机厂商所认为的正确曝光有关，现在一般将K取值为12.5。

可以看出，B平均亮度值会影响A光圈和T曝光时间。而曝光时间，理论上可以影响视频采集帧率。

三、验证问题

1）验证不同光强度下帧率大小

既然怀疑是摄像头开启AE功能，摄像头根据场景平均亮度动态调整光圈和曝光时间导致，使用potplay打开本地摄像头，观察不同强度光下的摄像头视频帧率。验证是不是这么回事。

1、遮挡摄像头，无光下摄像头采集帧率16fps。

2、用手电筒照射摄像头，强光下摄像头采集帧率，30fps。

3、建立视频连接，使用GetStats打印不同光强度下，视频通话的帧率，发现确实强光下，为30fps，无光下为17fps。

delay:0 ms lost:0%,{send kbps:1742, frame:145, cap rate:28, send rate:30
delay:0 ms lost:0%,{send kbps:1724, frame:148, cap rate:30, send rate:30
delay:0 ms lost:0%,{send kbps:1683, frame:147, cap rate:29, send rate:30
delay:0 ms lost:0%,{send kbps:1673, frame:145, cap rate:30, send rate:30
delay:0 ms lost:0%,{send kbps:1688, frame:149, cap rate:30, send rate:30
delay:0 ms lost:0%,{send kbps:1625, frame:132, cap rate:25, send rate:25
delay:0 ms lost:0%,{send kbps:1561, frame:112, cap rate:17, send rate:22
delay:0 ms lost:0%,{send kbps:1607, frame: 81, cap rate:17, send rate:17
delay:0 ms lost:0%,{send kbps:1693, frame: 82, cap rate:16, send rate:17
delay:0 ms lost:0%,{send kbps:1837, frame: 97, cap rate:25, send rate:25
delay:0 ms lost:0%,{send kbps:1418, frame:124, cap rate:25, send rate:25
delay:0 ms lost:0%,{send kbps:1005, frame:123, cap rate:24, send rate:25
delay:0 ms lost:0%,{send kbps:1392, frame:125, cap rate:25, send rate:25
delay:0 ms lost:0%,{send kbps:1557, frame:125, cap rate:25, send rate:25
delay:0 ms lost:0%,{send kbps:1251, frame:125, cap rate:25, send rate:25

2）验证关闭AE功能，不同光强度下帧率大小

既然确认是开启摄像头的AE（自动曝光）功能导致该问题。若想提高视频采集帧率，可以关闭该功能，调整exposure参数，可提升视频采集帧率。

1、关闭AE功能。

2、遮挡摄像头，无光下摄像头采集帧率15fps。

3、用手电筒照射摄像头，强光下摄像头采集帧率，15fps。

四、解决问题

1）方法一

关闭AE功能，调整exposure参数，保证视频帧率恒定在30fps。

exposure取值范围在0到-13之间，越靠近0，帧率越小。实测配置在-5左右 ，可以保证30fps帧率。

但是该方法视频在不同光源下，不能自适应调整光圈和快门，成像质量有风险。

2）方法二

物理方法，尽量增大环境的光强^_^

六、参考

https://blog.csdn.net/shiyimin1/article/details/81409218

https://zhidao.baidu.com/question/1987221778804625147.html

https://blog.csdn.net/u011776903/article/details/78783975

https://blog.csdn.net/bingqingsuimeng/article/details/61193241

https://blog.csdn.net/wang714818/article/details/78088424

 

 

CrystalShaw
关注
专栏目录
Qt/C++音视频开发72-倍速推流/音视频同步倍速推流/不改变帧率和采样率/低倍速和高倍速
Qt/C++视频监控/推流/物联网/大屏系统/自定义控件/UI定制/输入法
05-05 1285
最近多了个新需求，需要倍速推流，推流界的扛把子obs也有倍速推流功能，最高支持到两倍速。这里所说的倍速，当然只限定在文件，只有文件才可能有倍速功能，因为也只有文件才能倍速解码播放。实时视频流是不可能倍速的，因为没有时长，有时长的才可以按照播放进度来。是否是文件也不能通过是不是本地文件等来判断，以为很多http/rtsp/m3u8等也可能是文件，具体最终的判断依据应该是有没有时长，能不能获取到时长，能获取到的就说明是文件。
WEBRTC
swt198852的专栏
11-01 8034
WebRTC 目录 简介 架构 1.    WebRTC架构组件介绍 2.    Network Stream API 3.    RTCPeerConnection 4.    Peer-to-peer Data API 相关 分析 1.    视频 2.    音频 展开 简介 架构 1.    WebR
WebRTC QoS
闲敲棋子落灯花
11-15 2176
Outline 1. Bandwidth Estimation Delay Based Control Loss Based Control 2. Error Concealment RTP Retransmission(NACK) FEC PLI/SLI/RPSIPacket Arrival Model G
WebRTC QoS方法一（NACK实现）
CrystalShaw的博客
07-26 1万+
一、概念 与NACK对应的是ACK，ACK是到达通知技术。以TCP为例，他可靠因为接收方在收到数据后会给发送方返回一个“已收到数据”的消息（ACK），告诉发送方“我已经收到了”，确保消息的可靠。 NACK也是一种通知技术，只是触发通知的条件刚好的ACK相反，在未收到消息时，通知发送方“我未收到消息”，即通知未达。 在rfc4585协议中定义可重传未到达数据的类型有二种： 1）RTPFB：r...
深入浅出WebRTC—Pacer
最新发布
程序员老六的专栏
07-23 1039
报文优先级定义如下，数字越小优先级越高（参考函数GetPriorityForType）。0 - Audio本文详细分析了 WebRTC 平滑发送模块的整体框架和实现原理，并对重要的数据结构和逻辑进行了深入剖析。平滑发送模块设计的非常灵活，采用动态发包周期和漏桶控制机制，能够满足媒体报文发送、带宽探测、高优先级报文优先发送等多种发送要求。不过，相比于固定发包周期，这种设计实现起来更加复杂性，大家在借鉴的时候，要充分评估、小心谨慎。
WebRTC QoS方法（汇总篇）
热门推荐
CrystalShaw的博客
05-24 1万+
目前总结出webrtc用于提升QOS的方法有： NACK、FEC、SVC、JitterBuffer、IDR Request、PACER、Sender Side BWE、VFR（动态帧率调整策略）。 这几种方法在webrtc架构分布如下： 具体实现原理如下： 一、NACK 与NACK对应的是ACK，ACK是到达通知技术。以TCP为例，他可靠因为接收方在收到数据后会给发送方返回一个“已收......
webrtc QOS方法四（Sender Side BWE）
CrystalShaw的博客
10-09 1万+
背景介绍 BWE（Bandwidth Estimation）可能是WebRTC视频引擎中最关键的模块了。BWE模块决定视频通讯中可以发送多大码率视频不会使网络拥塞，防止视频通讯质量下降。 早期的带宽评估算法比较简单，大多是基于丢包来估计，基本的策略是逐步增加发送的数据量，直到检测到丢包为止。为了让发送端获悉网络上的丢包信息，可以使用标准的RTCP的RR来发送周期性的报告。 现代的带宽评估算法...
WebRTC系列分享 | WebRTC视频QoS全局技术栈
yinshipin007的博客
03-02 663
当网络条件比较差的时候，码率降的比较低，若不降低帧率，视频质量会大幅度下降。JitterBuffer实现原理是，在收到网络上的RTP报文后，不直接进行解码，需要缓存一定个数的RTP报文，按照时间戳或者seq的顺序进行重排，消除报文的乱序和抖动问题。WebRTC的vpx编码器使用了Temporal Scalability时间可适性编码，仅需通过FEC+NACK方式保护T0层的数据完整性，其余层的视频帧有丢失，可通过逐级降帧率方案（丢弃Tn-T1之间的数据），保证视频通话整体的流畅性。
iOS WebRTC实现1v1音视频通信
06-17
可以通过调整编码器参数、选择合适的分辨率和帧率，以及利用硬件加速等手段来提升用户体验。 9. **安全考虑**：确保通信过程中的数据安全是至关重要的。WebRTC支持DTLS（Datagram Transport Layer Security）加密，...
WebRTC媒体协商及实践
fuxuan_7的博客
10-10 856
WebRTC 处理流程图： WebRTC 终端，负责音视频采集、编码、NAT穿越、音视频数据传输。 Signal服务器，负责信令处理，如加入房间、离开房间、媒体协商消息的传递。 STUN/TURN 服务器，负责获取WebRTC终端在公网的IP地址，以及NAT穿越失败后的数据中转。 主要基础概念： 帧率：摄像头一秒钟采集图像的次数；一般情况下，一秒可采集30张-100张图片。帧率越高，视频越平滑，占用带宽越大。 编码帧：视频数据流通过编码器（H264/H265\VP8/VP9）压缩后的帧。 ​ I 帧：关键
WebRTC QoS优化（双链路笔记）
CrystalShaw的博客
03-24 1131
手机设备有wifi和cellular网络，两种都是无线信号，可能由于一些距离wifi、基站覆盖等原因会出现一段时间网络变差的情况。可以考虑使用wifi和cellular智能切换，保证音视频传输的流畅性。并且可以善意提醒用户，当前wifi信号差，正在使用流量。提醒用户主动改善网络条件。
webrtc audio QoS
weixin_44991625的博客
06-15 152
WebRTC Qos策略
yinshipin007的博客
02-28 753
WebRTC中pacer的流程比较清晰，分为三步：1）如果一帧图像被编码和RTP切分打包后，先会将RTP报文存在待发送的队列中，并将报文元数据(packet id, size, timestamp, 重传标示)送到pacer queue进行排队等待发送，插入队列的元数据会进行优先级排序。基于丢包率（loss-based ）（发送端实现）发送端从接收端发送的 RTCP RR(Receiver Report）报文，根据 Report Block 中携带的丢包率信息，动态调整发送端码率。
webrtc QOS方法（概述篇）：
EveryDayOneHour的博客
02-04 1801
目前总结出webrtc用于提升QOS的方法有： NACK、FEC、SVC、JitterBuffer、IDR Request、PACER、Sender Side BWE、VFR（动态帧率调整策略）、AVSync（音视频同步）、动态分辨率调整。 与NACK对应的是ACK，ACK是到达通知技术。以TCP为例，他可靠因为接收方在收到数据后会给发送方返回一个“已收到数据”的消息（ACK），告诉发送方“我已经收到了”，确保消息的可靠。NACK也是一种通知技术，只是触发通知的条件刚好的...
WebRTC Qos 策略
百鸣的专栏
06-05 196
NACK：Negative Acknowledgement，即负面确认，是一种重传机制，用于处理丢包情况。SVC：Scalable Video Coding，即可伸缩视频编码，是一种视频编解码技术，可以根据不同的需求和网络带宽，灵活地选择不同的视频分辨率、比特率等参数，以实现更加优化的视频传输效果。VFR：Variable Frame Rate，即可变帧率，是一种视频编码技术，可以根据不同的应用场景和需求，动态地调整视频帧率，以实现更加高效和灵活的视频传输。
Webrtc 简单实用的Qos优化
程序猿老樊的博客
03-31 1262
一、WebRtc的概念 WebRTC，名称源自网页即时通信（英语：Web Real-Time Communication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的API。它于2011年6月1日开源并在Google、Mozilla、Opera支持下被纳入万维网联盟的W3C推荐标准。其中包含视频音频采集，编解码，数据传输，音视频展示等功能，我们可以通过技术快速地构建出一个音视频通讯应用。 虽然其名为WebRTC，但是实际上它不光支持Web之间的音视频通讯，还支持Android以及IOS端，此外
webrtc QOS方法（拥塞控制）
EveryDayOneHour的博客
02-05 558
WebRTC设计了一套基于延迟和丢包反馈的拥塞机制（GCC）和带宽调节策略来保证延迟、质量和网路速度之间平衡，这是一个持续循环过程。 1） estimator通过RTCP的feedback反馈过来的包到达延迟增量和丢包率信息计算出网络拥塞状态并评估出适合当前网络传输的码率，根据这个码率改变视频编码器码率，然后改变pacer的码率 2） pacer会根据这个码率改变pacer的网络发送速度和padding比例，并用新的网络发送速度来定时触发发包事件。...
webrtc QOS方法五.2（发送端帧率调整原理及实现流程）
CrystalShaw的博客
05-07 4577
一、MediaOptimization类作用 二、MediaOptimization类实现 1）编码前 实现原理 MediaOptimization在编码前，更新编码器的码率、帧率信息。 码率：会根据当前系统统计的编码后帧率、以及之前编码数据量与目标编码码率关系，评估当前合适的码率。 帧率： 函数调用 2）编码中 函数调用关系 实...
webrtc QOS方法（汇总篇）
u010271151的博客
04-02 213
看到一组很有价值分析QOS的文章，特意转载过来 原文：https://blog.csdn.net/CrystalShaw/article/details/80432267感谢楼主 目前总结出webrtc用于提升QOS的方法有： NACK、FEC、SVC、JitterBuffer、IDR Request、PACER、Sender Side BWE、VFR（动态帧率调整策略）。 这几种方法在webrtc架构分布如下： 具体实现原理如下： 一、NACK 与NACK对应的是ACK，ACK...
react native webrtc 录屏调整帧率
06-10
要在 React Native WebRTC 中调整录屏的帧率，你可以使用 `MediaStreamTrack.applyConstraints()` 方法来设置。这个方法可以用于约束媒体轨道的参数，包括帧率、分辨率等等。 例如，如果你想将录屏的帧率设置为 20fps，你可以使用以下代码： ```javascript const stream = await navigator.mediaDevices.getDisplayMedia({ video: true, }); const track = stream.getVideoTracks()[0]; await track.applyConstraints({ frameRate: { ideal: 20, max: 30 }, }); ``` 在这个例子中，我们首先使用 `navigator.mediaDevices.getDisplayMedia()` 获取录屏的媒体流，然后从中获取视频轨道。接着，我们使用 `applyConstraints()` 方法来设置帧率为 20fps，同时最大帧率为 30fps。 注意：不是所有设备和浏览器都支持 `applyConstraints()` 方法，你可以通过检查 `MediaStreamTrack.applyConstraints()` 是否为 undefined 来判断当前浏览器是否支持该方法。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值