原创：H264编码封装成MP4格式视频流 RTP封包

最新推荐文章于 2024-05-14 11:04:57 发布

weixin_30484247

最新推荐文章于 2024-05-14 11:04:57 发布

阅读量3.1k

点赞数

文章标签：人工智能网络

原文链接：http://www.cnblogs.com/ghw-NO1/archive/2012/08/28/2660848.html

版权

本文介绍了H264编码的视频流如何封装成MP4格式，理解H264的基本结构，如NAL单元、码流结构。接着探讨MP4的封装方式，包括box结构和NALU在MP4中的存储形式。最后，讨论了H264视频流在RTP协议中的封包规则，包括RTP头部结构、打包模式和NALU的处理方式。

摘要由CSDN通过智能技术生成

一、概述

本文讲述的是对H264编码且封装成MP4格式的视频流进行RTP打包过程时需要了解的一些基本知识。

二、H264的基础知识

1.H264的编码格式

H.263 定义的码流结构是分级结构，共四层。自上而下分别为：图像层(picturelayer)、块组层(GOB layer)、宏块层(macroblock layer)和块层(block layer)。而与H.263 相比，H.264的码流结构和H.263 的有很大的区别，它采用的不再是严格的分级结构。H.264 支持4:2:0 的连续或隔行视频的编码和解码。H.264 压缩与H.263、MPEG-4 相比，视频压缩比提高了一倍。

H.264 的功能分为两层：视频编码层（VCL, Video Coding Layer）和网络提取层（NAL,Network Abstraction Layer）。VCL 数据即编码处理的输出，它表示被压缩编码后的视频数据序列。在VCL 数据传输或存储之前，这些编码的VCL 数据，先被映射或封装进NAL 单元中。每个NAL 单元包括一个原始字节序列负荷（RBSP, Raw Byte Sequence Payload）、一组对应于视频编码的NAL 头信息。RBSP 的基本结构是：在原始编码数据的后面填加了结尾比特。一个bit“1”若干比特“0”，以便字节对齐。

2.H264的传输

H.264 的编码视频序列包括一系列的NAL 单元，每个NAL 单元包含一个RBSP，见表1。编码片（包括数据分割片IDR 片）和序列RBSP 结束符被定义为VCL NAL 单元，其余
为NAL 单元。典型的RBSP 单元序列如图2 所示。每个单元都按独立的NAL 单元传送。单元的信息头（一个字节）定义了RBSP 单元的类型，NAL 单元的其余部分为RBSP 数据。

3.H264的码流结构

起始码：如果NALU 对应的Slice 为一帧的开始，则用4 字节表示，即0x00000001；否则用3 字节表示，0x000001。

一个frame是可以分割成多个Slice来编码的，而一个Slice编码之后被打包进一个NAL单元，不过NAL单元除了容纳Slice编码的码流外，还可以容纳其他数据，比如序列参数集SPS。

三、MP4封装的H264数据

MP4文件中所有数据都封装在box中，它是由若干个子box组成，每个box还可以包含另外的子box，且每个box都有长度和类型。“ftyp”(66 74 79 70)box:作为MP4格式的标志并包含关于文件的一些信息，有且仅有一个；“moov”(6D 6F 6F 76)box:包含了媒体的metadata信息（特别是avcC中的sps和pps），有且仅有一个；“mdat”(6D 64 61 74)box：包含了MP4的媒体数据，可以有多个，也可以没有。但是媒体数据的结构由metadata进行描述。MP4中box存储方式为大端模式。一般，标准的box开头会有四个字节的box size。

在MP4格式文件中，H264 slice并不是以00 00 00 01