【FFmpeg实战】FLV封装格式介绍及解析

原文地址：https://juejin.cn/post/6844903598476754951

FLV封装格式

FLV(Flash Video)是Adobe公司推出的一种流媒体格式，由于其封装后的音视频文件体积小、封装简单等特点，非常适合于互联网上使用。目前主流的视频网站基本都支持FLV。采用FLV格式封装的文件后缀为.flv。

FLV封装格式是由一个文件头(flie header)和 文件体(file Body)组成。其中，FLV body由一对对的(Previous Tag Size字段 + tag)组成。Previous Tag Size字段 排列在Tag之前，占用4个字节。Previous Tag Size记录了前面一个Tag的大小，用于逆向读取处理。FLV header后的第一个Pervious Tag Size的值为0。Tag一般可以分为3种类型：脚本(帧)数据类型、音频数据类型、视频数据。FLV数据以大端序进行存储，在解析时需要注意。一个标准FLV文件结构如下图：

FLV文件的详细内容结构如下图：

FLV header

注：在下面的数据type中，UI表示无符号整形，后面跟的数字表示其长度是多少位。比如UI8，表示无法整形，长度一个字节。UI24是三个字节,UI[8*n]表示多个字节。UB表示位域，UB5表示一个字节的5位。可以参考c中的位域结构体。

FLV头占9个字节，用来标识文件为FLV类型，以及后续存储的音视频流。一个FLV文件，每种类型的tag都属于一个流，也就是一个flv文件最多只有一个音频流，一个视频流，不存在多个独立的音视频流在一个文件的情况。FLV头的结构如下：

Field	Type	Comment
签名	UI8	‘F’(0x46)
签名	UI8	‘L’(0x4C)
签名	UI8	‘V’(0x56)
版本	UI8	FLV的版本。0x01表示FLV版本为1
保留字段	UB5	前五位都为0
音频流标识	UB1	是否存在音频流
保留字段	UB1	为0
视频流标识	UB1	是否存在视频流
文件头大小	UI32	FLV版本1时填写9，表明的是FLV头的大小，为后期的FLV版本扩展使用。包括这四个字节。数据的起始位置就是从文件开头偏移这么多的大小。

FLV Body

FLV Header之后，就是FLV File Body.FLV File Body是由一连串的back-pointers + tags构成。Back-pointer表示Previous Tag Size(前一个tag的字节数据长度)，占4个字节。

FLV Tag

每一个Tag也是由两部分组成:tag header 和 tag data。Tag Header里存放的是当前tag的类型、数据区(tag data)的长度等信息。tag header一般占11个字节的内存空间。FLV tag结构如下：

Field	Type	Comment
Tag类型	UI8	8:audeo 9:video 18:Script data(脚本数据) all Others:reserved 其他所有值未使用
数据区大小	UI24	当前tag的数据区的大小，不包含包头
时戳	UI24	当前帧时戳，单位是毫秒。相对值，第一个tag的时戳总是为0
时戳扩展字段	UI8	如果时戳大于0xFFFFFF，将会使用这个字节。这个字节是时戳的高8位，上面的三个字节是低24位。
StreamID	UI24	总是为0
数据区	UI[8*n]	数据区数据

FLV Tag的类型可以是视频、音频和Script(脚本类型)，下面分别介绍这三种Tag类型

该类型Tag又被称为MetaData Tag,存放一些关于FLV视频和音频的元信息，比如：duration、width、height等。通常该类型Tag会作为FLV文件的第一个tag，并且只有一个，跟在File Header后。该类型Tag DaTa的结构如下所示:

Script Tag Data结构(脚本类型、帧类型)

该类型Tag又被称为MetaData Tag,存放一些关于FLV视频和音频的元信息，比如：duration、width、height等。通常该类型Tag会作为FLV文件的第一个tag，并且只有一个，跟在File Header后。该类型Tag DaTa的结构如下所示:

第一个AMF包： 第1个字节表示AMF包类型，一般总是0x02，表示字符串。第2-3个字节为UI16类型值，标识字符串的长度，一般总是0x000A（“onMetaData”长度）。后面字节为具体的字符串，一般总为“onMetaData”（6F,6E,4D,65,74,61,44,61,74,61）。

第二个AMF包： 第1个字节表示AMF包类型，一般总是0x08，表示数组。第2-5个字节为UI32类型值，表示数组元素的个数。后面即为各数组元素的封装，数组元素为元素名称和值组成的对。常见的数组元素如下表所示。

值	Comment
duration	时长
width	视频宽度
heiht	视频高度
video data rate	视频码率
frame rate	视频帧率
video codec id	视频编码方式
audio sample rate	音频采样率
audio sample size	音频采样精度
stereo	是否为立体声
audio codec id	音频编码方式
filesize	文件大小
…	…

Audio Tag Data结构(音频类型)

音频Tag Data区域开始的第一个字节包含了音频数据的参数信息，从第二个字节开始为音频流数据。结构如下：

第一个字节为音频的信息，格式如下：

Field	Type	Comment
音频格式	UB4	0 = Linear PCM, platform endian 1 =ADPCM 2 = MP3 3 = Linear PCM, little endian 4 = Nellymoser 16-kHz mono 5 = Nellymoser 8-kHz mono 6 = Nellymoser 7 = G.711 A-law logarithmic PCM 8 = G.711 mu-law logarithmic PCM 9 = reserved 10 = AAC 11 = Speex 14 = MP3 8-Khz 15 = Device-specific sound flv是不支持g711a的，如果要用，可能要用线性音频。
采样率	UB2	0 = 5.5-kHz 1 = 11-kHz 2 = 22-kHz 3 = 44-kHz 对于AAC总是3。由此可以看出FLV封装格式并不支持48KHz的采样率
采样精度	UB1	0 = snd8Bit 1 = snd16Bit 压缩过的音频都是16bit
音频声道	UB1	0 = sndMono 单声道 1 = sndStereo 立体声，双声道 对于AAC总是1

第二个字节开始为音频数据。

Field	Type	Comment
音频数据	UI[8*n]	如果是PCM线性数据，存储的时候每个16bit小端存储，有符号。 如果音频格式是AAC，则存储的数据是AAC AUDIO DATA，否则为线性数组。

video Tag Data结构(视频类型)

视频Tag Data开始的第一个字节包含视频数据的参数信息，从第二个字节开始为视频流数据。结构如下：

第一个字节包含视频信息，格式如下:

Field	Type	Comment
帧类型	UB4	1: keyframe (for AVC, a seekable frame)——h264的IDR，关键帧，可重入帧。 2: inter frame (for AVC, a non- seekable frame)——h264的普通帧 3: disposable inter frame (H.263 only) 4: generated keyframe (reserved for server use only) 5: video info/command frame
编码ID	UB4	使用哪种编码类型： 1: JPEG (currently unused) 2: Sorenson H.263 3: Screen video 4: On2 VP6 5: On2 VP6 with alpha channel 6: Screen video version 2 7: AVC

第二个字节开始为视频数据

Field	Type	Comment
视频数据	UI[8*n]	如果是avc，则参考下面的介绍：AVC VIDEO PACKET

AVC VIDEO PACKET

关于下面这块内容有兴趣的话可以结合h264结构来看，不感兴趣的话可以直接跳过。

AVC VIDEO PACKET的结构:

Field	Type	Comment
AVC packet类型	UI8	0：AVC序列头 1：AVC NALU单元 2：AVC序列结束。低级别avc不需要。
CTS	UI24	如果AVC packet类型是1，则为cts偏移(见下面的解释)。 如果AVC packet类型是0，则为0
数据	UI[8*n]	如果AVC packet类型是0，则是解码器配置，sps，pps。 如果是1，则是nalu单元，可以是多个。

关于CTS：这是一个比较难以理解的概念，需要和pts，dts配合一起理解。

首先，pts（presentation time stamps），dts(decoder timestamps)，cts(CompositionTime)的概念：

pts：显示时间，也就是接收方在显示器显示这帧的时间。单位为1/90000 秒。

dts：解码时间，也就是rtp包中传输的时间戳，表明解码的顺序。单位单位为1/90000 秒。——根据后面的理解，pts就是标准中的CompositionTime

cts偏移：cts = (pts - dts) / 90 。cts的单位是毫秒。

pts和dts的时间不一样，应该只出现在含有B帧的情况下，也就是profile main以上。baseline是没有这个问题的，baseline的pts和dts一直相同，所以cts一直为0。

AVC VIDEO PACKET中Data的结构:

AVC VIDEO PACKET中Data的结构:

Field	Type	Comment
长度	UI32	nalu单元的长度，不包括长度字段。
nalu数据	UI[8*n]	NALU数据，没有四个字节的nalu单元头，直接从h264头开始，比如：65 ** ** ，41 ** **
长度	UI32	nalu单元的长度，不包括长度字段。
nalu数据	UI[8*n]	NALU数据，没有四个字节的nalu单元头，直接从h264头开始，比如：65 ** ** ，41 ** **
…	…	…

解析FLV

在理解了FLV结构的基础上，就可以尝试去解析一个FLV文件了。在阅读代码的过程中，遇到不懂的地方可以返回去看FLV结构，加深理解。

  >>> 音视频开发 视频教程： https://ke.qq.com/course/3202131?flowToken=1031864 
  >>> 音视频开发学习资料、教学视频，免费分享有需要的可以自行添加学习交流群： 739729163  领取