RTMP中FLV流到标准h264、aac的转换

最新推荐文章于 2023-07-21 16:57:03 发布

子晓聊技术

最新推荐文章于 2023-07-21 16:57:03 发布

阅读量4.7k

点赞数

分类专栏：流媒体（HLS、RTMP、RTSP）

流媒体（HLS、RTMP、RTSP）专栏收录该内容

21 篇文章 1 订阅

订阅专栏

转载地址：http://www.cnblogs.com/chef/archive/2012/07/18/2597279.html

一、分析FLV数据

我们先拿一个flv文件来简单分析一下flv数据的格式

flv标准文档下载地址http://www.cnblogs.com/chef/archive/2012/07/18/2597003.html

flv文件分析器flvprase下载地址http://www.cnblogs.com/chef/archive/2012/07/18/2596930.html

本文重点不在于此，这块就跳过了。相信大家对照flv标准文档都能看懂flv数据格式，而且我也强烈建议想学习这块知识的朋友先把这步的工作完成。

二、分析RTMP上行的h264视频流

在server上将上行视频存成二进制文件（注意，一定要用二进制形式保存数据）如下图（图片所显示的二进制数据每行有16列数据，即从0至f，如显示不完全，请单独打开图片查看）

我使用的工具是notepad++（并安装二进制查看插件）

如果你有做第一步的工作，不难看出rtmp中flv视频流就是一个接着一个的Video tag——即FLV tag中去除头信息，只保留video tag内容。

我们对照flv标准文档来逐个分析

17：1-keyframe 7-avc

00：AVC sequence header -- AVC packet type

00 00 00：composition time，AVC时，全0，无意义

因为AVC packet type=AVC sequence header，接下来就是AVCDecoderConfigurationRecord的内容

configurationVersion = 01

AVCProfileIndication = 42

profile_compatibility = 00

AVCLevelIndication = 1f

lengthSizeMinusOne = ff -- FLV中NALU包长数据所使用的字节数，（lengthSizeMinusOne & 3）+1，实际测试时发现总为ff，计算结果为4，下文还会提到这个数据

numOfSequenceParameterSets = E1 -- SPS 的个数，numOfSequenceParameterSets & 0x1F，实际测试时发现总为E1，计算结果为1

sequenceParameterSetLength = 00 31 -- SPS 的长度，2个字节，计算结果49

sequenceParameterSetNALUnits = 67 42 80 1f 96 54 05 01 ed 80 a8 40 00 00 03 00 40 00 00 07 b8 00 00 20 00 00 03 01 00 01 fc 63 8c 00 00 10 00 　　　　　　　　　　　　　　　　　　　　00 03 00 80 00 fe 31 c3 b4 24 4d 40 -- SPS，为刚才计算的49个字节， SPS中包含了视频长、宽的信息

numOfPictureParameterSets = 01 -- PPS 的个数，实际测试时发现总为E1，计算结果为1

pictureParameterSetLength = 00 04 -- PPS 的长度

pictureParameterSetNALUnits = 68 ce 35 20 -- PPS

接下来又是新的一包videotag数据了

17：1-keyframe 7-avc

01：AVC NALU

00 00 00：composition time，AVC时，全0，无意义

因为AVCPacket type = AVC NALU，接下来就是一个或多个NALU

每个NALU包前面都有（lengthSizeMinusOne & 3）+1个字节的NAL包长度描述（前文提到的，还记得吗），前面计算结果为4个字节

00 00 00 02 ：2 -- NALU length

09 10：NAL包

这里插入一点NALU的小知识，每个NALU第一个字节的前5位标明的是该NAL包的类型，即NAL nal_unit_type

#define NALU_TYPE_SLICE 1
#define NALU_TYPE_DPA 2
#define NALU_TYPE_DPB 3
#define NALU_TYPE_DPC 4
#define NALU_TYPE_IDR 5
#define NALU_TYPE_SEI 6
#define NALU_TYPE_SPS 7
#define NALU_TYPE_PPS 8
#define NALU_TYPE_AUD 9　　//访问分隔符
#define NALU_TYPE_EOSEQ 10
#define NALU_TYPE_EOSTREAM 11
#define NALU_TYPE_FILL 12

09&0x1f=9，访问单元分隔符

前面我们解析的sps头字节为67，67&0x1f = 7，pps头字节为68，68&0x1f=8，正好能对应上。

00 00 00 29：说明接下来的NAL包长度为41

06 00 11 80 00 af c8 00 00 03 00 00 03 00 00 af c8 00 00 03 00 00 40 01 0c 00 00 03 00 00 03 00 90 80 08 00 00 03 00 08 80：06&0x1f=6 -- SEI

00 00 3c d0：接下来的NAL包长度

65 88 80……：65&0x1f=5 -- I帧数据

这包video tag分析到此结束了，下面会紧接着来一些该I帧对应的P帧数据，见下图