SkeyePlayer RTSP播放器源码解析系列之H264一帧多NAL写MP4录像花屏问题解决方案

SwordTwelve

已于 2022-05-16 15:00:32 修改

阅读量1.5k

点赞数 1

分类专栏： Skeye系列文章标签： h.264 一帧多NAL nal解析 nal分片写MP4

于 2017-07-11 21:16:27 首次发布

本文链接：https://blog.csdn.net/swordtwelve/article/details/74999222

版权

本文详细介绍了H264编码中一帧多NAL单元的问题，及其在写入MP4时导致花屏的原因。通过分析H264帧结构，提出了解决方案，即正确转换NAL单元的长度标识，确保视频正常解码。通过SkeyePlayer的代码实现，展示了如何找到NAL单元并修正长度，避免播放时出现花屏。

摘要由CSDN通过智能技术生成

接上一篇[SkeyePlayer源码解析系列之录像写MP4]之续篇，我们来讲解一下关于H264编码格式中的一帧多nal(Network Abstract Layer, 即网络抽象层)，关于H264和NAL，这里引用一段话来科普一下：

【转】在H.264/AVC视频编码标准中，整个系统框架被分为了两个层面：视频编码层面（VCL）和网络抽象层面（NAL）。其中，前者负责有效表示视频数据的内容，而后者则负责格式化数据并提供头信息，以保证数据适合各种信道和存储介质上的传输。因此我们平时的每帧数据就是一个NAL单元（SPS与PPS除外）。在实际的H264数据帧中，往往帧前面带有00 00 00 01 或 00 00 01分隔符，一般来说编码器编出的首帧数据为PPS与SPS，接着为I帧……

一般情况下，一个H264帧直接以00 00 00 01开头作为一个NAL作为网络传输单元，而在有些H264的编码器则编码出来的H264帧包含了多个NAL，这个时候每个分片的NAL（注意是分片的）则是是以00 00 01开头作为网络传输单元，经过分片的NAL数据量更小，从而更加方便进行网络；但是，我们在接收到带有多个NAL的H264帧的时候进行写MP4则不能简单是只通过将头部的00 00 00 01标志转换从AVC的长度标识，而需要将所有的00 00 00 01和00 00 01都需要转换成该NAL单元的长度，否则就会出现视频解码只能播放头部一小部分，其他部分全部花屏的情况，如下图所示：