WebRTC 之度量与统计: 到底出了什么问题

最新推荐文章于 2021-12-06 14:00:03 发布
最新推荐文章于 2021-12-06 14:00:03 发布
阅读量854 收藏 2
点赞数 1
文章标签： 网络 java python 机器学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fanyamin/article/details/118754860
版权

由于新冠疫情，我们待在家中，在网上工作，开会，看电影的时间越来越多了。网络嘛，大家都知道，时常不稳定，网上开会时声音听不清楚，图像模糊，视频有马赛克(不是人为打的)的情况时有发生，这时候，问题出在哪里呢？
也许是网络的问题，也许不是，即使网络出现问题，只要不是不可忍受的，我们依然需要进行调整，保证基本的功能：

  1. 语音通话要保持通畅，这是要首先保证的
  2. 共享的桌面或文件内容要能够识别
  3. 视频要能看到，哪怕分辨率低点也行

首要的事情是要搞清楚出了什么问题？网络传输问题，设备问题，编解码的问题，还是音视频源的问题？

网络抓包后分析媒体流是常规的媒体质量分析方法，可是用户和服务器都不可能让你随时随地去抓包，何况还有安全和隐私问题的红线。所以剩下的选择就是度量 metrics, 做好度量就能见微知著，透过现象看本质，为上述问题找出答案。

先看一个例子 WebRTC Statistics Example， 源码很简单，参见

就是建立一个本地端到端的连接，将收集到的统计数据打印出来

1) Audio Inbound-rtp 接收的 Audio RTP 数据度量

注：

  • JitterBufferDelay: 类型为 double , 单位为秒，抖动缓冲区的目的让子弹飞一会儿, 将收到的 RTP 数据包暂存一下, 等一会儿再将缓冲区的 RTP 包重新组合成帧或者重新排序并平滑播放。此处描述的模型假设样本或帧仍处于压缩状态且尚未解码。
    它是每个音频样本或视频帧从抖动缓冲区接收到第一个数据包的时间(收取时间戳)到它退出抖动缓冲区的时间(发出时间戳)所用时间的总和。
    在音频的情况下，多个样本属于同一个 RTP 数据包，因此它们将具有相同的摄取时间戳，但不同的抖动缓冲区发出时间戳。
    在视频的情况下，帧可能是通过多个 RTP 数据包接收的，因此收取时间戳是进入抖动缓冲区的最早数据包，发出时间戳是整个帧退出抖动缓冲区的时间。该指标在样本或帧退出时增加，在缓冲区中完成它们的时间(并增加 jitterBufferEmittedCount)。
    平均抖动缓冲延迟可以通过将 jitterBufferDelay 与 jitterBufferEmittedCount 相除来计算。

  • jitterBufferEmittedCount：类型为 unsigned long long
    从抖动缓冲区中出来的音频样本或视频帧的总数

2) Audio outbound-rtp 发送的 Audio RTP 数据度量

3) Video Inbound-rtp 接收的 Video RTP 数据度量

注：

  • totalDecodeTime: 花费在解码上的总时间(以秒为单位)，所解码的帧数可由 framesDecoded 得到
  • totalInterFrameDelay 连续解码的帧之间的帧间延迟总和(以秒为单位)，在帧解码后立即记录。

可根据公式：(totalSquaredInterFrameDelay - totalInterFrameDelay^2/framesDecoded)/framesDecoded，从totalInterFrameDelay、totalSquaredInterFrameDelay 和framesDecoded 计算帧间延迟方差。

  • totalSquaredInterFrameDelay
    连续解码的帧之间的平方帧间延迟的总和(以秒为单位)

4) Video outbound-rtp 发送的 Video RTP 数据度量

WebRTC statistics API

详细的 API 和数据结构定义参见 https://developer.mozilla.org/en-US/docs/Web/API/RTCPeerConnection/getStats

  • candidate-pair: refer to RTCIceCandidatePairStats.
  • inbound-rtp: refer to RTCInboundRtpStreamStats
  • outbound-rtp: refer to RTCOutboundRtpStreamStats
  • remote-inbound-rtp: refer to RTCRemoteInboundRtpStreamStats
  • remote-outbound-rtp: refer to RTCRemoteOutboundRtpStreamStats

参考资料

fanyamin
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
WebRtc中视频JitterBuffer的Jitterdelay估计方法
qq_27031005的博客
08-25 196
之前在做项目的时候，有过专门的移植过WebRtc中的视频JitterBuffer，当时就很好奇内部是如何实现jitter的抖动的估计的，一直想好好研究一下，最近也是下定决心想要把这一点吃透，平时闲暇花时间仔细的研究了一下，在此做一下记录，以便后面有兴趣的同学一同研究。
webrtc 屏幕共享时间性能统计分析
zhuiyuanqingya的博客
08-20 1874
webrtc 本身对时间性能参数有比较完备的统计，分析 webrtc 延时性能，直接分析其中关于性能统计的代码，理解其中各个参数的含义基本能够找到自己需要的参数。 备注：本文的 webrtc 代码来自 chromium（64）开源代码。 1.发送端时间性能统计 发送端涉及到的文件包括： 2.接收端时间性能统计 2.1视频时间性能统计 接收端统计性能统计分析的代码主要位于文件： ...
【网络通信 -- WebRTC】WebRTC 服务质量 (QoS) -- JitterBuffer
CopperSun 技术博客
07-27 759
【网络通信 -- WebRTC】WebRTC 服务质量 (QoS) -- JitterBuffer 【1】基本概念 JitterBuffer 是在收到网络上的 RTP 报文后，不直接进行解码，而是缓存一定个数的 RTP 报文，并按照时间戳或者序列号的顺序进行重排，以消除报文乱序和抖动问题的技术； JitterBuffer 分为动态 JitterBuffer 和静态 JitterBuffer； 静态 JitterBuffer 缓存报文个数固定； 动态 JitterBuffer 根据网络环路延时的情况，
【网络通信 -- WebRTC】项目实战记录 (调试工具) -- chrome 与 WebRTC
CopperSun 技术博客
07-27 3058
【网络通信 -- WebRTC】项目实战记录(调试工具) -- chrome 与 WebRTC 【1】chrome://webrtc-internals/ 分析工具 RTCIceCandidate_XXX -- ICE 候选描述信息 timestamp 时间戳 transportId 传输 ID isRemote 是否为远端 networkType 网卡 ip IP 地址 address IP 地址 port 端口 protocol 传输...
WebRTC的RTP、RTCP协议实现分析
老衲不出家
10-25 5968
一 前言 RTP/RTCP协议是流媒体通信的基石。RTP协议定义流媒体数据在互联网上传输的数据包格式，而RTCP协议则负责可靠传输、流量控制和拥塞控制等服务质量保证。 在WebRTC项目中，RTP/RTCP模块作为传输模块的一部分，负责对发送端采集到的媒体数据进行进行封包，然后交给上层网络模块发送；在接收端RTP/RTCP模块收到上层模块的数据包后，进行解包操
浅谈WebRTC NetEQ
liuhongxian的专栏
12-06 573
浅谈WebRTC NetEQ WebRTC Native 代码里面有很多值得学习的宝藏，其中一个就是 WebRTC 的 NetEQ 模块。根据 WebRTC 术语表 对 NetEQ 的解释： A dynamic jitter buffer and error concealment algorithm used for concealing the negative effects of network jitter and packet loss. Keeps latency as low as pos
webrtc-stats-gatherer:用于收集WebRTC连接统计信息的模块
05-14
WebRTC统计信息收集器 该模块旨在定期收集统计信息，并根据需要发出统计信息和跟踪数据。 请注意，该项目利用的事件发出功能，而不是原始浏览器RTCPeerConnection。原料药constructor(peerConnection: ...
webrtc-Qt-example:这是带有 Qt 的 webrtc 的典型示例
07-13
webrtc-Qt-example 这是 webrtc 与 Qt 的典型视频聊天示例。 它是从谷歌代码项目 webrtc 开发的。 它还从 webrtc 项目中“借用”了代码。（位于 trunk\talk\examples\peerconnection 目录中） 注意：因为webrtc项目...
WebRTC视频数据统计之延时、抖动与丢包
04-25
WebRTC视频数据统计之延时、抖动与丢包，包含WebRTC如何更新、客户端如何获取等流程结构图
WebRTC-Video-Broadcast:WebRTC视频音频广播
04-27
WebRTC视频/音频广播WebRTC PeerToPeer广播应用程序，它允许广播者向所有连接的用户（观看者）发送视频和音频流。 您可以在我的上找到说明代码和功能的教程。入门启动应用程序使用Node启动应用程序： # Install ...
webrtc-book-cn:中文翻译《与WebRTC进行实时通信》
03-19
翻译约定本译者认为：本书并没有翻译到理想状态截止日期并不是什么第一实力，只是给了你一个把一坨翔提交上去的勇气翻译术语的时候请参考这个对照表：术语替代翻译点对点点对点网路摄影机网络摄像头发信号信令约束...
浅谈 WebRTC NetEQ
老衲不出家
02-17 1216
WebRTC Native 代码里面有很多值得学习的宝藏，其中一个就是 WebRTC 的 NetEQ 模块。根据 WebRTC 术语表 对 NetEQ 的解释： A dynamic jitter buffer and error concealment algorithm used for concealing the negative effects of network jitter an...
吞吐量(throughput)、抖动率（jitter)、丢包率(drop)、端到端延迟(delay)
热门推荐
风雨同行
10-10 3万+
吞吐量：单位时间内，某个节点发送和接收的数据量，单位一般是b/s 丢包率（Loss Tolerance或packet loss rate）：指测试中所丢失数据包数量占所发送数据包的比率，通常在吞吐量范围内测试。丢包率与数据包长度以及包发送频率相关。通常，千兆网卡在流量大于200
第二人生的源码分析(三十六)获取消息包里每一个字段
anjichan4261的博客
04-14 87
上面介绍了怎么样构造消息模板，并用它来灵活地生成各种各样需要传送数据的数据结构，现在就来分析一下使用模板怎么样去分析缓冲区里的数据，然后获取消息各个字段数据，这样才可以让别的程序使用起来。 #001BOOL LLTemplateMessageReader::readMessage(const U8* buffer, #002...
WebRTC[4]-WebRTC中JitterBuffer的运行机制
liuzhen007的专栏
10-19 1556
前言 众多周知，WebRTC凭借自身非常完美的JitterBuffer控制机制能够适应各种网络抖动和异常情况，从而保证声音和画面的流畅播放。今天，我们就从WebRTC对音频的处理逻辑中一窥究竟。 正文 大家都知道，实际的网络总是非常复杂的，存在各种丢包和抖动等异常情况，视频经常会遇到卡顿、花屏等问题。所以，在接收端对接收的数据做一个缓冲处理是非常有必要的。如果是内部专用网络，一般能够保证非常稳定的网络状态，在一定程度上保证没有丢包，没有抖动和延时，那么接收端不需要做其他的缓存处理逻辑，拿到音频和视频数
【VOLTE】什么是jitter buffer-抖动缓冲器
时九博客
10-27 3988
百度百科 http://baike.baidu.com/link?url=CR4iL6WRfGC0QL3ezajzR3fjn1rbGWu0M_Iucg-p4ctRa1miPOGjAvA3xcKI1Meelca173kUZzPkhWqZ-ruxA_ 在voice over IP(VoIP)中，抖动缓冲器是一个共享的数据区域，在这个数据区域中，每隔一段均匀的间隔，语音包会被收集，存储并发到语音处理器
【粗读webrtc】 jitterbuffer 2 音视频抖动缓冲区
突围
06-28 1375
webrtc音视频抖动缓冲区伪代码 webrtc音视频抖动缓冲区伪代码 rtp包几个时间值： 接收时间 ，发送时间，网络传输时间，网络延迟时间（网络排队） rtp包的接收时间 = sendtime + transferTime rtp包的接收时间 = sendtime + transferTime + netdelayTime 抖动缓冲区目的就是为了消除网络延迟对音视频的平滑播放造成的影响，如果没有抖动缓冲区，就可能 播放的视频时快时慢，播放的音频断断续续。 计算抖动的第一步就是计算网络的延迟，第二部根据.
webrtc jitterbuffer 学习
sky163
05-19 5117
注：详情可关注微信公众号Deverloper_Taoists视频通话中的jitterbuffer分析 1. 概述Jitterbuffer在实时通讯中起了重要作用,用于数据接收端,它缓冲了接收到的数据包,在”网络拥塞,定时漂移,路由变更”时,可以在一定程度上让用户感受不到数据波动的影响.Pjsip中的jbuf的功能较为简单,仅支持丢包,适用于网络状况比较好的情况,对于实际的网络状况,客户体验会比较差...
webrtc QOS方法八（JitterBuffer）
CrystalShaw的博客
09-12 5614
一、前言 网上看到很多webrtc的JitterBuffer处理流程，都是介绍VCMJitterBuffer类的实现流程，不过手里的这个2019年的版本，发现webrtc已经不用这个机制了。原因还不清楚。 VCMJitterBuffer类的调用关系如下图，但是，VideoCodingModuleImpl、VideoReceiveStream、VideoStreamDecoder三个类，都没有调...
webrtc的posttask(absl::anyinvocable<void() &&> task, const location& locatio
最新发布
07-30
WebRTC的PostTask方法是一个用于将任务提交到WebRTC库线程的函数。它接受一个Abseil的anyinvocable参数，该参数是可以执行任何无返回值函数的可调用对象。 PostTask方法的主要作用是将任务异步地放入WebRTC库的线程中执行。这样做的好处是可以避免在主线程执行耗时的操作，从而提高程序的响应速度和性能。 使用PostTask方法的步骤如下： 1. 创建一个要执行的任务，它必须是一个无返回值的函数或可调用对象。 2. 将任务包装在absl::anyinvocable对象中。 3. 调用PostTask方法，将任务提交到WebRTC库线程。 在调用PostTask方法时，只需传递任务的absl::anyinvocable对象即可，无需担心任务在WebRTC库线程上的执行。 需要注意的是，PostTask方法是异步的，任务的执行时间取决于WebRTC库线程的繁忙程度，不能保证立即执行。因此，如果有需要等待任务执行结果的情况，可以考虑使用其他方式来实现。 总之，WebRTC的PostTask方法可以方便地将任务提交到WebRTC库线程中异步执行，提高程序的响应速度和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值