FLV格式详解

FLV封装格式是由一个文件头和文件体组成的。其中，FLV body是由一对（previous tag size 字段+tag）组成。previous tag size在tag前面，占4个字节，表示前一个tag的大小。FLV Header后的第一个previous tag size 为0。
Tag一般分为三类：

• 音频数据类型
• 视频数据类型
• 脚本（帧）数据类型

FLV封装格式中，FLV Header占9字节

FLV封装格式的结构

FLV Header

注：在下面的数据type中，UI表示无符号整形，后面跟的数字表示其长度是多少位。比如UI8，表示无符号整形，长度一个字节。UI24是三个字节,UI[8*n]表示多个字节。UB表示位域，UB5表示一个字节的5位。可以参考c中的位域结构体。

FLV头占9个字节，用来标识文件为FLV文件，以及后续存储的音视频流。一个FLV文件，每钟类型的tag都属于一个流，也就是说，一个FLV文件，最多只有一个音频流，一个视频流：

FIled	Type	Comment
签名	UI8	‘F’（0x64）
签名	UI8	‘L’（0x4C）
签名	UI8	‘V’（0x56）
版本	UI8	FLV的斑斑。0x01表示版本1
保留字段	UB5	前5位都是0
音频流标识	UB1	是否存在音频流
保留字段	UB1	为0
视频流字段	UB1	是否存在视频流
文件头大小	UI32	FLV版本1时填写9，表示FLV头的大小，包括这个字段

FLV Body

FLV Body是由一对一对previous tag size+tag组成的，其中previous tag size占4个字节，表示前一个tag的大小。

FLV Tag

每一个tag也是由Tag Header和Tag Data组成，Tag Header里存放的是当前tag的类型，数据区的长度等信息。Tag Header一般占11个字节，Tag结构如下：

Field	Type	Comment
Tag类型	UI8	8:audio 9: video 18:Script data
数据区大小	UI24	当前tag的数据区大小，不包含头
时戳	UI24	当前帧时戳，单位是毫秒，相对值，第一个tag的时戳总为0
时戳扩展字段	UI8	如果时戳大于0xFFFFFF，将会使用这个字节。这个字节是时戳的高8位，上面的三个字节是低24位。
Stream ID	UI24	总是0
数据区	UI[8*n]	数据区数据

Tag类型

FLV tag的类型有三种，音频，视频和script

Script Tag Data

又被称为MetaData Tag，存放好一些关于FLV视频和音频的元信息，比如：duration，width，height等。通常该类型Tag会作为FLV文件的第一个tag，并且只有一个，跟在FLV Header后面。
该类型的Tag Data的结构：

第一个AMF包：
第一个字节表示AMF包类型，一般总是0x02，表示字符串。第2-3个字节为UI16类型值，标识字符串的长度，一般总是0x000A（“onMetaData”长度）。后面字节为具体的字符串

第二个AMF包：
第一个字节表示AMF包类型，一般总是0x08，表示数组。第2-5个字节为UI32类型值，表示数据元素的个数。后面即为各数组元素的封装，数组元素为元素名称和值组成的对。常见的数组元素如下：

值	Comment
duration	时长
width	视频宽度
height	视频高度
video data rate	视频码率
frame rate	视频帧率
video codec id	视频编码方式
audio sample rate	音频采样率
audio sample size	音频采样精度
stereo	是否为立体声
audio codec id	音频编码方式
filesize	文件大小
…	…

Audio Tag Data

音频Tag Data又分为Audio TagHeader 和Data数据区，它的第一个字节包含了音频数据的参数信息，从第二个字节开始为音频流数据：

第一个字节为音频信息，格式如下：

Field	Type	Comment
音频格式	UB4	0 = Linear PCM, platform endian 1 =ADPCM 2 = MP3 3 = Linear PCM, little endian 4 = Nellymoser 16-kHz mono 5 = Nellymoser 8-kHz mono 6 = Nellymoser 7 = G.711 A-law logarithmic PCM 8 = G.711 mu-law logarithmic PCM 9 = reserved 10 = AAC 11 = Speex 14 = MP3 8-Khz 15 = Device-specific sound flv是不支持g711a的，如果要用，可能要用线性音频。
采样率	UB2	0 = 5.5-kHz 1 = 11-kHz 2 = 22-kHz 3 = 44-kHz 对于AAC总是3。 由此可以看出FLV封装格式并不支持48KHz的采样率
采样精度	UB1	0 = snd8Bit 1 = snd16Bit 压缩过的音频都是16bit
音频声道	UB1	0 = sndMono 单声道 1 = sndStereo 立体声，双声道 对于AAC总是1

第二个字节开始为音频数据：

Field	Type	Comment
音频数据	UI[8*n]	如果是PCM线性数据，存储的时候每个16bit小端存储，有符号。 如果音频格式是AAC，则存储的数据是AAC AUDIO DATA，否则为线性数组

Video Tag Data

视频Tag Data开始的第一个字节包含视频数据的参数信息，从第二个字节开始为视频流数据。结构如下：

第一个字节包含视频信息，格式如下:

Field	Type	Comment
帧类型	UB4	1: keyframe (for AVC, a seekable frame)——h264的IDR，关键帧，可重入帧。 2: inter frame (for AVC, a non- seekable frame)——h264的普通帧 3: disposable inter frame (H.263 only) 4: generated keyframe (reserved for server use only) 5: video info/command frame
编码ID	UB4	使用哪种编码类型：1: JPEG (currently unused) 2: Sorenson H.263 3: Screen video4: On2 VP6 5: On2 VP6 with alpha channel 6: Screen video version 2 7: AVC

第二个字节开始为视频数据：

Filed	Type	Comment
视频数据	UI[8*n]	如果是avc，可以参考AVC VIDEO PACKET

AVC VIDEO PACKET

Field	Type	Comment
AVC Packet 类型	UI8	0：AVC序列头 1：AVC NALU单元 2：AVC序列结束。低级别avc不需要
CTS	UI24	如果AVC packet类型是1，测为cts偏移 如果AVC packet类型是0，则为0
数据	UI[8*n]	如果AVC packet 类型是0，则是解码器配置，sps，pps。 如果是1，测是nalu单元，可是是多个

ts：显示时间，也就是接收方在显示器显示这帧的时间。单位为1/90000 秒。
dts：解码时间，也就是rtp包中传输的时间戳，表明解码的顺序。单位单位为1/90000 秒。——根据后面的理解，pts就是标准中的CompositionTime
cts偏移：cts = (pts - dts) / 90 。cts的单位是毫秒。
pts和dts的时间不一样，应该只出现在含有B帧的情况下，也就是profile main以上。baseline是没有这个问题的，baseline的pts和dts一直相同，所以cts一直为0。

AVC VIDEO PACKET中Data的结构:

Field	Type	Comment
长度	UI32	nalu单元的长度，不包括长度字段。
nalu数据	UI[8*n]	NALU数据，没有四个字节的nalu单元头，直接从h264头开始，比如：65 ** ** **，41 ** ** **
长度	UI32	nalu单元的长度，不包括长度字段。
nalu数据	UI[8*n]	NALU数据，没有四个字节的nalu单元头，直接从h264头开始，比如：65 ** ** **，41 ** ** **
…	…	…

解析FLV 根据FFMEPG

在FFmpeg中，AVInputFormat是记录各个格式的结构体，其中FLV的结构体如下：

AVInputFormat ff_flv_demuxer = {
   
    .name           = "flv",
    .long_name      = NULL_IF_CONFIG_SMALL("FLV (Flash Video)"),
    .priv_data_size = sizeof(FLVContext),
    .read_probe     = flv_probe,
    .read_header    = flv_read_header,
    .read_packet    = flv_read_packet,
    .read_seek      = flv_read_seek,
    .read_close     = flv_read_close,
    .extensions     = "flv",
    .priv_class     = &flv_class,
};

我们看到 flv_read_header，读取FLV格式的头：

static int flv_read_header(AVFormatContext *s)
{
   
    int flags;
    FLVContext *flv = s->priv_data;
    int offset;
    int pre_tag_size = 0;
	//跳动4个字节，也就是跳过了FLV和版本号
    avio_skip(s->pb, 4);
    //读取一个字节，得到Flags
    flags = avio_r8(s->pb);
	//检查缺哪个流，音频流或视频流
    flv->missing_streams = flags & (FLV_HEADER_FLAG_HASVIDEO | FLV_HEADER_FLAG_HASAUDIO);

    s->ctx_flags |= AVFMTCTX_NOHEADER;
	//读取4个字节，也就是HeaderSize
    offset = avio_rb32(s->pb);
    //偏移4个字节
    avio_seek(s->pb, offset, SEEK_SET);

    /* Annex E. The FLV File Format
     * E.3 TheFLVFileBody
     *     Field               Type    Comment
     *     PreviousTagSize0    UI32    Always 0
     * */
    //读取4个字节，也就是我们的body的第一个 previous tag size
    pre_tag_size = avio_rb32(s->pb);
    if (pre_tag_size) {
   
        av_log(s, AV_LOG_WARNING, "Read FLV header error, input file is not a standard flv format, first PreviousTagSize0 always is 0\n");
    }

    s->start_time = 0;
    flv->sum_flv_tag_size = 0;
    flv->last_keyframe_stream_index = -1;

    return 0;
}

然后我们来看看FLV 文件体的读取：

static int flv_read_packet(AVFormatContext *s, AVPacket *pkt)
{
   
    FLVContext *flv = s->priv_data;
    int ret, i, size, flags;
    enum FlvTagType type;
    int stream_type=-1;
    int64_t next, pos, meta_pos;
    int64_t dts, pts = AV_NOPTS_VALUE;
    int av_uninit(channels);
    int av_uninit(sample_rate);
    AVStream *st    = NULL;
    int last = -1;
    int orig_size;

retry:
    /* pkt size is repeated at end. skip it */
    //得到目前所在的位置
        pos  = avio_tell(s->pb);
        //读取一个字节，也就是我们Tag Header中的Type
        //每个NALU的第一个byte & 0x1f就可以得出它的类型
        type = (avio_r8(s->pb) & 0x1F);
        //读取3个字节，得到Tag Data的大小
        orig_size =
        size = avio_rb24(s->pb);
        //得到总的Tag的大小
        flv->sum_flv_tag_size += size + 11;
        //读取3个字节，得到Timestamp
        dts  = avio_rb24(s->pb);
        //再读取一个字节，得到Timestamp_ex，然后拼接为dts
        dts |= (unsigned)avio_r8(s->pb) << 24;
        av_log(s, AV_LOG_TRACE, "type:%d, size:%d, last:%d, dts:%"PRId64" pos:%"PRId64"\n", type, size, last, dts, avio_tell(s->pb));
        if (avio_feof(s->pb))
            return AVERROR_EOF;
        //跳过三个字节，也就是StreamID    
        avio_skip(s->pb, 3); /* stream id, always 0 */
        flags = 0;
		
        if (flv->validate_next < flv->validate_count) {
   
            int64_t validate_pos = flv->validate_index[flv->val