H265视频码流结构分析

剑门微雨

已于 2023-02-11 13:13:29 修改

阅读量6.8k

点赞数 21

分类专栏： rtsp 音视频开发文章标签：音视频视频编解码实时音视频

于 2022-11-04 15:19:34 首次发布

本文链接：https://blog.csdn.net/u010140427/article/details/127667846

版权

rtsp 同时被 2 个专栏收录

20 篇文章 13 订阅

订阅专栏

音视频开发

4 篇文章 2 订阅

订阅专栏

RTSP实时音视频开发实战课程：<RTSP实时音视频开发实战>

《YUV编码为H265视频流代码实现》链接：

https://edu.csdn.net/learn/38258/606134?spm=1003.2001.3001.4157

《H265视频流解码为YUV代码实现》链接：

https://edu.csdn.net/learn/38258/606144?spm=1003.2001.3001.4157

前言

在音视频开发入门基础知识（视频入门篇）中介绍了H265的一些编码基础，本文会对H265编码后的视频流做一个详细的介绍。H264视频码流结构分析一文中对H264视频码流结构做了详细的分析，H265的视频码流结构和H264视频码流结构比较相似，建议阅读H264视频码流结构分析先了解下H264视频码流结构的特性和一些术语、概念。

H265码流结构

H265的视频流中也是存在多个GOP，每一个GOP里面包含多个视频编码帧。H265支持的视频编码帧类型有IDR帧、I帧、P帧、B帧，这些帧类型的含义和H264码流的帧类型的含义是一样，作用也是一样，比如IDR帧和I帧都是帧内压缩编码，IDR帧是即时解码刷新帧，也是关键帧；P帧是前向参考帧，B帧是双向参考帧。

H265的I帧或者IDR帧采用帧内编码，由于帧内压缩效率低，所以往往IDR帧/I帧比较大；如下图中的图像是H265的视频IDR帧的图像，可以看出IDR帧里面的每一个小块都是帧内编码块(橙色)；图中上方的柱状图表示每个视频帧的大小，柱状图越高表示数据量越大，可以看出IDR帧(橙色)比较大。

H265的P帧B帧也可以采用帧内压缩的方式来编码，不过主要还是靠帧间编码来提示压缩率的；如下图中的图像是H265的视频P帧的图像，可以看出P帧里面的小方块的大多是帧间编码块(蓝色块)，还出了一个帧内编码块(橙色块)。

H265帧结构

H265每一个帧的组成和H264的构成一样，功能上分为NAL层(NetworkAbstraction Layer,网络提取层)和VCL层(VideoCoding Layer,视频编码层)；H265的一帧编码图像中分为一个或者多个Nal 单元；每个NAL单元包含Nal 单元头和NAL 单元 Body；Nal 单元头由起始码和Nal Type组成。NAL 单元 Body通常是RBSP(Raw Byte Sequence Payload 原始字节序列载荷)数据。如下图所示。H265的Nal Type和H264Nal Type有些许差异，如在IDR/I帧数据通常除了SPS、PPS还有VPS，如下图中红色字体VPS是H265视频流中增加的Nal Type。

VPS：Video Parameter Set,视频参数集；主要包含视频时域子层的最大数目，时钟周期计算相关参数等。

与H264一样，H265可以通过Nal Type来判断当前Nal Unit的类型；如下图是Nal Unit 定义；在Nal Unit最开始的位置就是nal_unit_header，之后才是rbsp。

下图是nal_unit_header的定义，共占用了16bit(2个字节)；其中nal_unit_type表示的是一个NalUnit数据的类型，占前8bit的6个bit位；nal_unit_type的取值计算为(data[0] &0x7e)>> 1 。

nal_unit_type字段定义如下图；如下图可以知道 nal_unit_type为32时候 Nal Unit是VPS；nal_unit_type为33时候 Nal Unit是SPS；nal_unit_type为34时候 Nal Unit是PPS；nal_unit_type为19-20时候 Nal Unit是IDR Slice；nal_unit_type为0-9，16-18，21的时候 Nal Unit是非IDR Slice；nal_unit_type为39-40时候 Nal Unit是SEI（视频增强信息）。实际上16-21都是I帧类型的数据。