FLV协议5分钟入门浅析

最新推荐文章于 2023-11-11 14:58:41 发布
最新推荐文章于 2023-11-11 14:58:41 发布
阅读量368 收藏 1
点赞数
文章标签： ui
原文链接：https://juejin.im/post/5d50b5176fb9a06b2116dae9
版权
本文深入解析FLV（Flash Video）协议，介绍其结构包括FLVheader和FLVfilebody，详细阐述VideoTag、AudioTag及ScriptTag的作用。同时，探讨H.264和AAC编解码器在FLV中的应用。
摘要由CSDN通过智能技术生成

FLV协议简介

FLV（Flash Video）是一种流媒体格式，因其体积小、协议相对简单，很快便流行开来，并得到广泛的支持。

常见的HTTP-FLV直播协议，就是使用HTTP流式传输通过FLV封装的音视频数据。对想要了解HTTP-FLV的同学来说，了解FLV协议很有必要。

概括地说，FLV 由 FLV header 跟 FLV file body 两部分组成，而 FLV file body 又由多个 FLV tag组成。

FLV = FLV header + FLV file body FLV file body = PreviousTagSize0 + Tag1 + PreviousTagSize1 + Tag2 + ... + PreviousTagSizeN-1 + TagN

FLV tag又分为3种类型：

  • Video Tag：存放视频相关数据；
  • Audio Tag：存放音频相关数据；
  • Script Tag：存放音视频元数据；

在实际讲解FLV协议前，首先对单位进行约定：

类型定义
0x...16进制数据
SI8有符号8位整数
SI16有符号16位整数
SI24有符号24位整数
SI32有符号32位整数
STRINGSequence of Unicode 8-bit characters (UTF-8), terminated with 0x00 (unless otherwise specified)
UI8无符号8位整数
UI16无符号16位整数
UI24无符号24位整数
UI32无符号32位整数
xxx [ ]类型为xxx的数组
xxx [n]类型为xxx的数组，数组长度为n

FLV header

FLV header由如下字段组成，其中：

  1. 前三个字节内容固定是FLV
  2. 最后4个字节内容固定是9（对FLV版本1来说）
字段字段类型字段含义
SignatureUI8签名，固定为'F' (0x46)
SignatureUI8签名，固定为'L' (0x4c)
SignatureUI8签名，固定为'V' (0x56)
VersionUI8版本，比如 0x01 表示 FLV 版本 1
TypeFlagsReservedUB[5]全为0
TypeFlagsAudioUB[1]1表示有audio tag，0表示没有
TypeFlagsReservedUB[1]全为0
TypeFlagsVideoUB[1]1表示有video tag，0表示没有
DataOffsetUI32FLV header的大小，单位是字节

FLV file body

FLV file body很有规律，由一系列的TagSize和Tag组成，其中：

  1. PreviousTagSize0 总是为0；
  2. tag 由tag header、tag body组成；
  3. 对FLV版本1，tag header固定为11个字节，因此，PreviousTagSize（除第1个）的值为 11 + 前一个tag 的 tag body的大小；
字段字段类型字段含义
PreviousTagSize0UI32总是0
Tag1FLVTAG第1个tag
PreviousTagSize1UI32前一个tag的大小，包括tag header
Tag2FLVTAG第2个tag
.........
PreviousTagSizeN-1UI32第N-1个tag的大小
TagNFLVTAG第N个tag
PreviousTagSizeNUI32第N个tag的大小，包含tag header

FLV tags

FLV tag由 tag header + tag body组成。

tag header如下，总共占据11个字节：

字段字段类型字段含义
TagTypeUI8tag类型
8：audio
9：video
18：script data
其他：保留
DataSizeUI24tag body的大小
TimestampUI24相对于第一个tag的时间戳（单位是毫秒）
第一个tag的Timestamp为0
TimestampExtendedUI8时间戳的扩展字段，当 Timestamp 3个字节不够时，会启用这个字段，代表高8位
StreamIDUI24总是0
Data取决于根据TagTypeTagType=8，则为AUDIODATA
TagType=9，则为VIDEODATA
TagType=18，则为SCRIPTDATAOBJECT

In playback, the time sequencing of FLV tags depends on the FLV timestamps only. Any timing mechanisms built into the payload data format are ignored.

Audio tags

定义如下所示：

字段字段类型字段含义
SoundFormatUB[4]音频格式，重点关注 **10 = AAC **
0 = Linear PCM, platform endian
1 = ADPCM
2 = MP3
3 = Linear PCM, little endian
4 = Nellymoser 16-kHz mono
5 = Nellymoser 8-kHz mono
6 = Nellymoser
7 = G.711 A-law logarithmic PCM 8 = G.711 mu-law logarithmic PCM 9 = reserved
10 = AAC
11 = Speex
14 = MP3 8-Khz
15 = Device-specific sound
SoundRateUB[2]采样率，对AAC来说，永远等于3
0 = 5.5-kHz
1 = 11-kHz
2 = 22-kHz
3 = 44-kHz
SoundSizeUB[1]采样精度，对于压缩过的音频，永远是16位
0 = snd8Bit
1 = snd16Bit
SoundTypeUB[1]声道类型，对Nellymoser来说，永远是单声道；对AAC来说，永远是双声道；
0 = sndMono 单声道
1 = sndStereo 双声道
SoundDataUI8[size of sound data]如果是AAC，则为 AACAUDIODATA；
其他请参考规范；

备注：

If the SoundFormat indicates AAC, the SoundType should be set to 1 (stereo) and the SoundRate should be set to 3 (44 kHz). However, this does not mean that AAC audio in FLV is always stereo, 44 kHz data. Instead, the Flash Player ignores these values and extracts the channel and sample rate data is encoded in the AAC bitstream.

AACAUDIODATA

当 SoundFormat 为10时，表示音频采AAC进行编码，此时，SoundData的定义如下：

字段字段类型字段含义
AACPacketTypeUI80: AAC sequence header
1: AAC raw
DataUI8[n]如果AACPacketType为0，则为AudioSpecificConfig
如果AACPacketType为1，则为AAC帧数据

The AudioSpecificConfig is explained in ISO 14496-3. Note that it is not the same as the contents of the esds box from an MP4/F4V file. This structure is more deeply embedded.

关于AudioSpecificConfig

伪代码如下：参考这里

5 bits: object type
if (object type == 31)
    6 bits + 32: object type
4 bits: frequency index
if (frequency index == 15)
    24 bits: frequency
4 bits: channel configuration
var bits: AOT Specific Config
复制代码

定义如下：

字段字段类型字段含义
AudioObjectTypeUB[5]编码器类型，比如2表示AAC-LC
SamplingFrequencyIndexUB[4]采样率索引值，比如4表示44100
SamplingFrequencyIndexUB[4]采样率索引值，比如4表示44100
ChannelConfigurationUB[4]声道配置，比如2代表双声道，front-left, front-right

Video tags

定义如下：

字段字段类型字段含义
FrameTypeUB[4]重点关注1、2：
1: keyframe (for AVC, a seekable frame) —— 即H.264的IDR帧；
2: inter frame (for AVC, a non- seekable frame) —— H.264的普通I帧；
3: disposable inter frame (H.263 only)
4: generated keyframe (reserved for server use only)
5: video info/command frame
CodecIDUB[4]编解码器，主要关注 7（AVC）
1: JPEG (currently unused)
2: Sorenson H.263
3: Screen video
4: On2 VP6
5: On2 VP6 with alpha channel 6: Screen video version 2
7: AVC
VideoData取决于CodecID实际的媒体类型，主要关注 7:AVCVIDEOPACKE
2: H263VIDEOPACKET
3: SCREENVIDEOPACKET
4: VP6FLVVIDEOPACKET
5: VP6FLVALPHAVIDEOPACKET
6: SCREENV2VIDEOPACKET
7: AVCVIDEOPACKE

AVCVIDEOPACKE

当 CodecID 为 7 时，VideoData 为 AVCVIDEOPACKE，也即 H.264媒体数据。

AVCVIDEOPACKE 的定义如下：

字段字段类型字段含义
AVCPacketTypeUI80: AVC sequence header
1: AVC NALU
2: AVC end of sequence
CompositionTimeSI24如果AVCPacketType=1，则为时间cts偏移量；否则，为0
DataUI8[n]1、如果如果AVCPacketType=1，则为AVCDecoderConfigurationRecord
2、如果AVCPacketType=1=2，则为NALU（一个或多个）
3、如果AVCPacketType=2，则为空

这里有几点稍微解释下：

  1. NALU：H.264中，将数据按照特定规则格式化后得到的抽象逻辑单元，称为NALU。这里的数据既包括了编码后的视频数据，也包括视频解码需要用到的参数集（PPS、SPS）。
  2. AVCDecoderConfigurationRecord：H.264 视频解码所需要的参数集（SPS、PPS）
  3. CTS：当B帧的存在时，视频解码呈现过程中，dts、pts可能不同，cts的计算公式为 pts - dts/90，单位为毫秒；如果B帧不存在，则cts固定为0；

PPS、SPS这里先不展开。

Script Data Tags

Script Data Tags通常用来存放跟FLV中音视频相关的元数据信息（onMetaData），比如时长、长度、宽度等。它的定义相对复杂些，采用AMF（Action Message Format）封装了一系列数据类型，比如字符串、数值、数组等。

字段字段类型字段含义
ObjectsSCRIPTDATAOBJECT[]任意数目的 SCRIPTDATAOBJECT
SCRIPTDATAOBJECTENDUI24永远是9，标识着Script Data的结束

SCRIPTDATAOBJECT 定义如下：

字段字段类型字段含义
ObjectNameSCRIPTDATASTRING对象的名字
ObjectDataSCRIPTDATAVALUE对象的值

SCRIPTDATAVALUE 的定义如下：

字段字段类型字段含义
TypeSCRIPTDATASTRING变量类型：
0 = Number type
1 = Boolean type
2 = String type
3 = Object type
4 = MovieClip type
5 = Null type
6 = Undefined type
7 = Reference type 8 = ECMA array type 10 = Strict array type 11 = Date type
12 = Long string type
ECMAArrayLength如果Type为8（数组），则为UI32数组长度
ScriptDataValueIf Type == 0 DOUBLE
If Type == 1 UI8
If Type == 2 SCRIPTDATASTRING
...（有点长，可以参考规范）		变量的值
ScriptDataValueTerminator如果Type==3，则为SCRIPTDATAOBJECTEND
如果 Type==8，则为SCRIPTDATAVARIABLEEND		Object、Array的结束符

可以看到，Script Data Tag 的定义相对复杂，下面通过onMetaData进行进一步讲解。

onMetaData

onMetaData中包含了音视频相关的元数据，封装在Script Data Tag中，它包含了两个AMF。

第一个AMF：

  • 第1个字节：0x02，表示字符串类型
  • 第2-3个字节：UI16类型，值为0x000A，表示字符串的长度为10（onMetaData的长度）；
  • 第4-13个字节：字符串onMetaData对应的16进制数字（0x6F 0x6E 0x4D 0x65 0x74 0x61 0x44 0x61 0x74 0x61）；

第二个AMF：

  • 第1个字节：0x08，表示数组类型；
  • 第2-5个字节：UI32类型，表示数组的长度，onMetaData中具体包含哪些属性是不固定的。
  • 第6个字节+：比如duration，则：
    • 第6-9个字节：0x0008，表示长度为8个字节；
    • 第10-17个字节：0x6475 7261 7469，表示 duration 这个字符串；
    • 第18个字节：0x00，表示为数值类型；
    • 第19-26个字节：0x...，表示具体的时长；

更多onMetaData字段的定义：

字段字段类型字段含义
durationDOUBLE文件的时长
widthDOUBLE视频宽度（px）
heightDOUBLE视频高度（px）
videodatarateDOUBLE视频比特率（kb/s）
framerateDOUBLE视频帧率（帧/s）
videocodecidDOUBLE视频编解码器ID（参考Video Tag）
audiosamplerateDOUBLE音频采样率
audiosamplesizeDOUBLE音频采样精度（参考Audio Tag）
stereoBOOL是否立体声
audiocodecidDOUBLE音频编解码器ID（参考Audio Tag）
filesizeDOUBLE文件总得大小（字节）

写在后面

FLV协议本身不算复杂，理解上的困难，更多时候来自音视频编解码相关的知识，比如H.264、AAC相关知识，建议不懂的时候自行查下。此外，FLV的字节序为大端序，在做协议解析的时候一定要注意。

本文为讲解方便，部分内容可能不够严谨，如有错漏敬请指出。

相关链接

video_file_format_spec_v10.pdf www.adobe.com/content/dam…

MPEG-4 Part 3 en.wikipedia.org/wiki/MPEG-4…

flv文件分析 www.jianshu.com/p/e290dca02…

H.264再学习 -- 详解 H.264 NALU语法结构 blog.csdn.net/qq_29350001…

转载于:https://juejin.im/post/5d50b5176fb9a06b2116dae9

weixin_30484739
关注
HTTP-FLV协议
king_weng的博客
05-12 1万+
1、简介 FLV (Flash Video) 是 Adobe 公司推出的另一种视频格式，是一种在网络上传输的流媒体数据存储容器格式。其格式相对简单轻量，不需要很大的媒体头部信息。整个FLV由 The FLV Header, The FLV Body 以及其它 Tag 组成。因此加载速度极快。采用 FLV 格式封装的文件后缀为 .flv。而HTTP-FLV 即将流媒体数据封装成 FLV 格式，然后通过 HTTP 协议传输给客户端。 HTTP协议中有个约定：content-len...
直播中的基础传输协议（2）——FLV
NUS Coders
01-19 613
今天来介绍的是与RTMP协议非常类似的一种协议——FLV。
FLV文件格式解析
--------→成人不自在，自在不成人℃ ------------
09-27 1421
<br /><br />FLV（Flash Video）是现在非常流行的流媒体格式，由于其视频文件体积轻巧、封装播放简单等特点，使其很适合在网络上进行应用，目前主流的视频网站无一例外地使用了FLV格式。另外由于当前浏览器与Flash Player紧密的结合，使得网页播放FLV视频轻而易举，也是FLV流行的原因之一。<br />    FLV视频格式是Adobe公司设计开发的，目前已经免费开放，现在的版本是v10。下面我们就了解一下FLV文件格式。<br />    FLV是流媒体封装格式，我们可以将其数据看
FLV协议分析
weixin_45093118的博客
02-27 776
FLV = FLV Header + FLV Body 1. FLV Header FLV Header: 头三个字节为‘F‘ ’L’ ‘V’ 三个字节、版本、类型、偏移 2. FLV Body FLV Body：包括pre tagsize 和 tag 2.1 pre tagsize pre tagsize代表了前一个tag的大小，tag代表当前的数据 2.2 Tag Header 2.3 Tag Body 2.3.1 Script Tag Data Script data： MetaData T.
FLV(1) ------FLV协议
qq_15255121的专栏
04-15 308
FLV与RTMP关系密切，你甚至可以认为FLV就是RTMP。 FLV与RTMP的区别？ RTMP加一个头tag就成了FLV 我们现在分析下FLV的协议 FLV包括FLV Header和数据两部分 我们先分析FLV Header,FLV Header有九个字节。我们来分析下 1-3字节表示当前是‘F’ 、'L'、‘V’ 4字节表示当前的flv版本号 5字节：具体表示为1-5位为0，6位代表存在音频，7位保留位是0， 8位代表存在视频 6-9字节：代表header的大小，目前数值为9 .
【流媒体协议】图解 FLV 协议 快速入门
记录分享自己的流媒体开发经验
02-15 2144
文章目录前言FLV 格式FLV headerFLV BodyFLV tagVideo TagAudio TagScript Tagobs 打包 FLV打包 FLV header 和 Script Tag打包 Video Tag打包 Audio Tag总结 推荐一个零声学院免费公开课程，个人觉得老师讲得不错，分享给大家：Linux，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，TCP/IP，协程，DPDK等技术内容，立即
web浏览器播放http-flv协议的视频流
07-26
然而，HTTP-FLV协议本身并不被HTML5原生支持，所以需要额外的JavaScript库或自定义解决方案来处理HTTP-FLV流。 五、安全与优化 1. **安全考虑**：确保视频流只对授权用户开放，可以使用HTTPS加密传输，防止数据被...
flv细节解析.doc_flv文档_flv_doc_协议解析_
10-04
5. **协议解析**： 解析FLV协议时，需要按照上述结构读取和处理数据。对于开发流媒体服务器或客户端工具的人来说，理解这些细节至关重要，以便正确地处理和播放FLV文件。 通过阅读“flv细节解析.doc”，你可以深入...
RTSP，RTMP，HTTP-FLV协议浅析，HTML5监控应用
wcghhk的博客
01-22 3086
之前做的一个WEB监控项目，这里做个整理。 RTSP（Real Time Streaming Protocol）：实时流传输协议，应用层协议，传输层可为UDP（默认），RDP，TCP，一般用于直播。浏览器不支持，目前仅 IE 的ActiveXObject 支持，且有插件依赖，但监控行业普遍使用，比如海康的摄像头。 RTMP（Real Time Messaging Protocol）：实时消息传...
FLV结构详解，FLV协议详解（泰山鲁 转载加修正）
luzubodfgs的专栏
10-03 3665
FLV结构 FLV抓包分析于一体的 借用前辈经验 修改前辈论文的不正确和 注解前辈难懂的地方 flv 就这么简单，
FLV协议
专注音视频基础、WebRTC、ffmpeg、流媒体服务器
10-03 638
FLV(Flash Video)是Adobe公司推出的⼀种流媒体格式，由于其封装后的⾳视频⽂件体积⼩、封装简单等特点，⾮常适合于互联⽹上使⽤。⽬前主流的视频⽹站基本都⽀持FLV。采⽤FLV格式封装的⽂件后缀为.flv。 FLV封装格式是由⼀个⽂件头(file header)和 ⽂件体(file Body)组成。其中，FLV body由⼀对对的(Previous Tag Size字段 + tag)组成。Previous Tag Size字段 排列在Tag之前，占⽤4个字节。Previous Tag Size记
RTMP与FLV协议(转载)
技术控的笔记
01-05 2508
RTMP和FLV协议详解
HTTP-FLV详解及分析
最新发布
明天你好的博客
11-11 3182
传统的直播协议要么使用 Adobe 的基于 TCP 的 RTMP 协议， 要么使用 Apple 的基于 HTTP 的 HLS 协议。本文介绍另外一种结合了 RTMP 的低延时， 以及可以复用现有 HTTP 分发资源的流式协议HTTP-FLV。HTTP-FLV，即将音视频数据封装成 FLV，然后通过 HTTP 协议传输给客户端。HLS 其实是一个 “文本协议” ，而并非流媒体协议，(ts0,ts1,…)。那么，什么样的协议才能称之为流媒体协议呢？答：流（stream）
rtmp 协议详解
wdglhack的专栏
11-22 578
rtmp 协议详解 1. handshake 1.1 概述 rtmp 连接从握手开始。它包含三个固定大小的块。客户端发送的三个块命名为 C0,C1,C2；服务端发送的三个块命名为 S0,S1,S2。 握手序列： 客户端通过发送 C0 和 C1 消息来启动握手过程。客户端必须接收到 S1 消息，然后发送 C2 消息。客户端必须接收到 S2 消息，然后发送其他数据。 服务端必须接收到 C0 或者 C1 消息，然后发送 S0 和 S1 消息。服务端必须接收到 C2 消息，然后发送其他数据。 握手示意
手撕FLV协议
秦城季的博客
01-17 325
首发地址，会更错 实现效果 纯代码实现分离FLV音视频流，并组装成AAC和H264文件，最后能正常播放。注：本文只对有AAC和H264格式音视频流组成的flv进行分离。 FLV协议 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oyU21eaj-1610869332555)(07_flv/flv-pr.jpg)] 注：脚本部分本文未使用，可前往这查看。 实现代码 代码注释已经很详细了，其实就是对照协议表进行数据解析，其中： (1) H264协议请看直播推流全过程：视频编码之
HTTP-FLV协议详解
weixin_39399492的博客
07-09 4911
1、写在前面：HTTP协议详解之HTTP/1.1FLV格式详解（2）学习Http-Flv的时候可以配合抓包工具wireshark或chrome抓包工具去分析，收发的消息类型及消息内容。2、Http-Flv就是http+flv，将音视频数据封装成flv格式，然后通过 http 协议传输给客户端。4、Http-Flv流的形式至少有三种，但是播放地址的形式都是一样的，形如""（），本文要介绍的是FLV直播流。（1）FLV文件，渐进式HTTP流。
RTMP协议详解：入门与许可协议
RTMP（Real Time Messaging Protocol）是一种专为实时音视频流传输设计的协议，由Adobe Systems开发，主要用于Flash Player和Adobe Media Server等平台之间的数据传输。它在多媒体直播、在线教育、游戏直播等领域...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值