WebRTC系列-H264视频帧组包(视频花屏问题)

已于 2024-02-01 17:43:04 修改
阅读量1k 收藏 2
点赞数 1
分类专栏： WebRTC进阶 文章标签： 音视频 webrtc java
于 2024-01-31 21:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lym594887256/article/details/135954715
版权
本文详细介绍了WebRTC中H264视频帧的组包过程，包括 PotentialNewFrame 函数用于判断新帧开始的逻辑，UpdateMissingPackets 函数更新丢失包记录，以及InsertPacket和FindFrames两个核心函数的实现。在弱网条件下，由于包丢失可能导致视频花屏，解决方案是为关键帧也进行完整的包完整性检测，但这可能导致视频画面刷新延迟。
摘要由CSDN通过智能技术生成

文章目录


WebRTC在弱网环境下传输较大的视频数据，比如：屏幕共享数据；会偶发的出现黑屏的问题；也就是说当视频的码率比较大且视频的分辨率比较高的时候，有一定概率出现黑屏的问题；
本文基于M76分支的代码分析其WebRTC组包的两个关键函数；WebRTC的组帧逻辑主要在 PacketBuffer类中(在modules/video_coding/packet_buffer.cc中)，其中的 PacketBuffer::InsertPacket和 PacketBuffer::FindFrames是组包的两个关键函数；这篇文章会分析其中的主要逻辑及可能导致问题的位置；
本文会从代码逻辑，以及调试断点代码两个角度去分析可能存在的问题；文末会给出解决方式及可能存在的问题；

工具函数

是否满足组帧条件函数PotentialNewFrame

这个函数的实现如下：

bool PacketBuffer
了解本专栏 订阅专栏 解锁全文 超级会员免费看
webrtc直播框架
宝安小雨
01-06 2467
标准 WebRTC 接入过程会有各种限制： 它不支持直播中常用音频 AAC 编码和 44.1k 采样率。 其它不支持视频 B 帧、H265等编码特性，多 slice 编码在弱网下也会花屏。 WebRTC 建联过程耗时过长，会影响秒开体验。 如果用p2p的模式无法是实现多人直播业务，所以应当一路采集推送服务器，多路拉取，采集推送和拉取都使用webrtc协议。目前开源的主流webrtc媒体服务器如下： Kurento（https://github.com/Kurento/kurento-media-server
【WebRTC---源码篇】（十一）WebRTC编码H264视频帧与RTP打包
用可见的方式来记录和分享每一次收获
10-06 1014
webrtc H264
vue视频直接播放rtsp流；vue视频延迟问题解决；webRTC占cpu太大卡死问题解决；解决webRTC播放卡花屏问题:
killerdoubie的博客
10-17 2873
播放多个视频js部分其中的item就是rtsp视频流public/static/test.html内容其中public/static/js/webrtcstreamer.js文件内容如下这里启用需要下载webRTC。
webrtc M76版本中h264花屏bug
weixin_39343678的博客
04-01 1694
用webrtc直播拉流比传统的rtmp方式延迟要低，能控制延迟在1s之内，基于M76版本的webrtc在视频编码为h264的流时
webrtc QOS方法六（花屏问题解决方法）
CrystalShaw的博客
01-28 5880
做过视频会议都清楚，当网络出现丢包异常后，经常会导致视频出现长时间花屏问题。严重降低用户体验。测试webrtc发现，视频无论在什么环境，都没有出现花屏现象。若出现丢包，通过掉帧方式解决该问题。最坏的情况就是视频出现卡顿，但是也不会出现花屏。我们都知道视频解码器只管数据解码，不会判断是否是花屏，这个丢包导致花屏问题，只能在调度侧解决，解码器是不处理该异常的。 webrtc在收包送到解码器这块流程，...
解码H264视频出现花屏或马赛克的问题
热门推荐
爱写代码的自由人
11-10 1万+
常见的引起花屏或马赛克问题的原因是因为丢包，这时候，开发者应该检查自己的接收缓冲区是否太小，还有打印RTP的SeqNumber看有没有不连续或乱序的问题，如果是用UDP传输，则RTP包容易发生乱序，需要开发者对包按顺序进行重组再解码。 我说的花屏问题的情况是假设网络没有数据丢包也没有乱序的情况，假设输入的网络包是正常的。那问题出在哪里？是在程序去RTP头、拿到Payload数据之后的处理流程有问...
FFmpeg 解码 H.264 视频出现花屏和马赛克的解决办法
ProgramNovice的博客
04-18 5242
FFmpeg 解码 H.264 视频出现花屏和马赛克的解决办法
h264视频解码显示花屏问题集
LL-Studio的专栏
09-23 6504
1. 收到服务器过来的视频码流，使用stream eye播放正常，使用自己的设备来解码播放时，出现严重的花屏。 原因：码流中有部分帧，如I帧的slice数目过大，大于解码器设定的最大slice数目，解码器就解码错误或直接丢弃这个帧。可在解码过程中发现帧的slice大于解码器设定的slice时，动态调整解码器的slice最大值。 ...
webRtc与H264的那些事
zhuchengcheng1992的博客
08-04 2057
为什么webRtc使用H264会黑屏？ WebRTC 自诞生之日起, 就代表了实时通信领域的最好的技术. 不过很长时间里, 它所支持的视频编码器只有VP8, 后来随着H265/VP9为代表的下一代视频编码器的诞生, WebRTC里出现了VP9 Codec. 而当前应用最广泛的H264 却一直不受待见. 一直到Cisco 宣布旗下的H264 Codec开源为OpenH264, 并且替所有OpenH264的使用者支付了H264的专利费， 以次为契机， 在IETF的WebRTC会议中， 把H264和VP8都列入
H264基础知识入门
yinshipin007的博客
11-23 4383
I和IDR帧都使用帧内预测，在编码解码中为了方便，首个I帧要和其他I帧区别开，把第一个I帧叫IDR，这样方便控制编码和解码流程。IDR帧必须是一个I帧，但是I帧不一定是IDR帧，这个帧出现的时候，是告诉解码器，可以清除掉所有的参考帧，这是一个全新的序列，新的GOP已经开始。I帧有被跨帧参考的可能,IDR不会。I帧是所有数据帧最关键的帧，如果缺少了I帧，后面的数据帧将无法使用。** 编码后数据，根据I帧P帧B帧的特性，在解码的过程是按I帧、P帧和B帧进行解码，文件播放还是按I帧、B帧和P帧顺序播放。
h264 丢包花屏处理的一个想法
管子（zero）的杂乱空间
01-04 2557
本文 来自 csdn lidphttp://blog.csdn.net/perfectpdl, 转载注明出处，谢谢。 H264视频在分组网络中传输丢包不可避免，尤其在网络环境不好时传输h264码流，丢包会导致解码端花屏，马赛克严重，这方面的前沿技术是 FEC, NACK, 前者是 前向纠错技术，后者是重传，二者结合能很好的解决丢包引起的视觉效果，这东西一般小厂家都没有，如果想丢包时即使让画面...
视频H.264网络通讯丢包与花屏问题改善方案
最新发布
gqd0757的博客
07-03 568
设计可靠的重传机制，确保在发生丢包时能够及时重传丢失的数据包，保证视频数据的完整性和时效性，减少花屏现象发生的可能性。在接收端实现智能丢帧处理机制，优先丢弃对观看体验影响较小的帧，以保证视频的流畅播放，避免花屏和卡顿情况。更新网络设备，采用高质量的路由器、交换机等网络设备，提高网络传输效率和稳定性，降低丢包和花屏风险。通过流量控制策略来管理数据包的传输速率，避免网络拥塞和丢包现象，保证视频传输的稳定性和流畅性。实施有效的拥塞控制算法，如拥塞避免、拥塞检测等，以避免网络拥塞导致的丢包和花屏问题。
用ffmpeg提取mp4的h264码流写文件花屏
dancing_night的专栏
04-01 7090
1、用ffmpeg提取mp4的h264码流写文件的方法网上有很多，不知道的请参考雷神博客：http://blog.csdn.net/leixiaohua1020/article/details/11800877 2、但是这么写出来的文件是有问题的，首先的确能播放，但是会有很大几率出现花屏 a、首先说说解决方案 其实很简单，也是利用av_bitstream_filter_filter方法，如下
RTSP协议浅析和花屏检测
hello_dear_you的博客
01-15 3629
RTSP浅析和花屏检测
H264解码过滤花屏视频帧
huangyifei_1111的博客
11-22 3703
众所周知视频在各个领域占有极为重要的地位，安防领域，互联网，医药，教育等等等等。扯淡我就尽量不多扯了，现主要扯安防领域吧，安防领域尤其是视频分析领域，视频质量要求比较苛刻。下面介绍一下场景比较苛刻的图片情况： 1.这种 2.这种 花屏现象，在视频接入解码过程中尤为常见，（比如28181接入，rtsp等等），解码大家都考虑使用ffmpeg进行解码，首先考虑的可能是解码错误直接从解码过程...
FFmpeg解码H264视频流局部花屏解决方法
Keep Moving~
06-15 9860
在项目中使用到了FFmpeg实现屏幕广播技术，其物理拓扑图如下： 由于我们的场景是在局域网中，因此基于FFmpeg的udp协议进行播放；当视频流是从windows 10 系统播出时，部分接收端存在局部花屏现象现象； 为了验证花屏问题，我们提出两种解决方案： 控制播放源的发送数据大小 增加接收缓存区，避免丢包 方法一： 我们把播放源的计算机网络环境从自动监测设置为100M双工时，接收端花屏现象就不存在了；但这个极大浪费了当前的网络带宽，非优选方案 方法二： 通过查询资料，1920*1080高分辨
海康摄像头ps中分离H264,花屏问题
qq_37120714的博客
12-08 1039
1：1个I帧真实有多大 2：1个I帧分成了4个pes 包 ，再把4个pes包通过网络包(MTU1500)发出去。所有大概要分（201602/（1500-46-54））=144个包 一个pes 00 00 01 e0 ff c6 后面两个字节为pes包后面的字节数 ff c6，是65478 字节。 ...
webrtc分析三（关键帧请求）
liuhongxian的专栏
07-05 1880
webrtc 采用rtp/rtcp传送音视频，网络存在丢包。采用fec和nack对抗丢包。但是并不是所有情况都能通过丢包重传解决。有些情况是在规定的时间内没有补上，再等就延时过大，失去补报的意义了。所以会采用请求关键帧的方式快速刷新。 请求关键帧的场景 1、新加入请求播放，无法初始化解码器 2、丢包过多，jitterbuffer过大 3、nack list过大 4、获取帧数据超时 5、解码出错 需要初始化解码器，sps，pps H264SpsPpsTracker::FixedBitstream H264Sp
音视频直播开发问题分析总结 -- 花屏&绿屏
m0_60259116的博客
09-08 2065
音视频直播开发问题分析总结 -- 花屏&绿屏
探讨WebRTC转码前后H.264视频文件的区别
例如，WebRTC可能会在H.264流中添加时间戳和序列号等信息，这些信息对于接收端处理丢包和乱序的视频帧是至关重要的。另外，WebRTC可能会使用更保守的编码设置来减少丢包的影响，从而导致压缩效率略有下降，但提高了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

简简单单lym

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值