媒体文件格式分析FMP4

最新推荐文章于 2024-07-30 20:29:43 发布
置顶 最新推荐文章于 2024-07-30 20:29:43 发布
阅读量7.9k 收藏 10
点赞数 1
分类专栏： nginx hls-m3u8 fmp4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liwf616/article/details/81111577
版权
nginx 同时被 3 个专栏收录
20 篇文章 1 订阅
订阅专栏
hls-m3u8
2 篇文章 0 订阅
订阅专栏
fmp4
1 篇文章 0 订阅
订阅专栏

媒体文件格式分析之FMP4

MP4 中最基本的单元就是Box，它内部是通过一个一个独立的Box拼接而成的。所以，这里，我们先从 Box 的讲解开始,每个 Box 是由 Header 和 Data 组成的，FullBox 是 Box 的扩展，Box 结构的基础上在 Header 中增加 8bits version 和 24bits flags

1. 名词解释

2. 最小单元Box

3. Mp4文件整体结构

这里，我们按照 MP4 box 的划分来进行相关的阐述。先看一张 MP4 给出的结构图:

这里写图片描述

这里写图片描述

3.1 File Type Box (ftyp)

通常放在MP4文件的开头，告诉解码器基本的解码版本和兼容格式。

  • 基本格式如下:
aligned(8) class FileTypeBox
   extends Box(‘ftyp’) {
   unsigned int(32)  major_brand;
   unsigned int(32)  minor_version;
   unsigned int(32) compatible_brands[];
}
  • 字段说明:
字段长度说明默认值
major_brand4推荐兼容性的版本iso6
minor_version4最低兼容性的版本1
compatible_brands列表值所有的兼容性的版本‘iso6’ ‘isom’ ‘dash’
  • Nginx模块实现
ngx_int_t
ngx_rtmp_mp4_write_ftyp(ngx_buf_t *b)
{
    u_char  *pos;

    pos = ngx_rtmp_mp4_start_box(b, "ftyp");

    /* major brand */
    ngx_rtmp_mp4_box(b, "iso6");

    /* minor version */
    ngx_rtmp_mp4_field_32(b, 1);

    /* compatible brands */
    ngx_rtmp_mp4_box(b, "isom");
    ngx_rtmp_mp4_box(b, "iso6");
    ngx_rtmp_mp4_box(b, "dash");

    ngx_rtmp_mp4_update_box_size(b, pos);

    return NGX_OK;
}

3.2 Movie Box (moov)

作为容器盒子，存放相关的trak及meta信息.

  • 基本格式如下:
aligned(8) class MovieExtendsBox extends Box(‘mvex’){ }
3.2.1 Movie Header Box (mvhd)

mvhd 是 moov 下的第一个 box，用来描述 media 的相关信息:

  • 基本格式如下:
aligned(8) class MovieHeaderBox extends FullBox(‘mvhd’, version, 0) { 
	 if (version==1) {
	   unsigned int(64)  creation_time;
	   unsigned int(64)  modification_time;
	   unsigned int(32)  timescale;
	   unsigned int(64)  duration;
	} else { // version==0
	   unsigned int(32)  creation_time;
	   unsigned int(32)  modification_time;
	   unsigned int(32)  timescale;
	   unsigned int(32)  duration;
	}
	
	template int(32)  rate = 0x00010000; // typically 1.0
	template int(16)  volume = 0x0100;   // typically, full volume
	const bit(16)  reserved = 0;
	const unsigned int(32)[2]  reserved = 0;
	template int(32)[9]  matrix =
	{ 0x00010000,0,0,0,0x00010000,0,0,0,0x40000000 };
	      // Unity matrix
	   bit(32)[6]  pre_defined = 0;
	   unsigned int(32)  next_track_ID;
}
  • 字段说明:
字段长度说明默认值
version4版本0 or 1s
creation_time4创建的UTC时间。从1904年开始算起, 用秒来表示无
modification_time4最后一次修改时间无
timescale4文件媒体在1秒时间内的刻度值，可以理解为1秒长度的时间单元数无
duration4该track的时间长度，用duration和time scale值可以计算track时长s实际时间为：duration/timescale = xx 秒
rate4推荐播放速率0x00010000
volume2音量大小0x0100 为最大值
reserved10保留字段0
matrixs4 * 9视频变换矩阵{0x00010000,0,0,0,0x0001s0000,0,0,0,0x40000000}
next_track_ID4下一个track使用的id号
  • Nginx模块实现
static ngx_int_t
ngx_rtmp_mp4_write_mvhd(ngx_buf_t *b)
{
    u_char  *pos;

    pos = ngx_rtmp_mp4_start_box(b, "mvhd");

    /* version */
    ngx_rtmp_mp4_field_32(b, 0);

    /* creation time */
    ngx_rtmp_mp4_field_32(b, 0);

    /* modification time */
    ngx_rtmp_mp4_field_32(b, 0);

    /* timescale */
    ngx_rtmp_mp4_field_32(b, 1000);

    /* duration */
    ngx_rtmp_mp4_field_32(b, 0);

    /* reserved */
    ngx_rtmp_mp4_field_32(b, 0x00010000);
    ngx_rtmp_mp4_field_16(b, 0x0100);
    ngx_rtmp_mp4_field_16(b, 0);
    ngx_rtmp_mp4_field_32(b, 0);
    ngx_rtmp_mp4_field_32(b, 0);

    ngx_rtmp_mp4_write_matrix(b, 1, 0, 0, 1, 0, 0);

    /* reserved */
    ngx_rtmp_mp4_field_32(b, 0);
    ngx_rtmp_mp4_field_32(b, 0);
    ngx_rtmp_mp4_field_32(b, 0);
    ngx_rtmp_mp4_field_32(b, 0);
    ngx_rtmp_mp4_field_32(b, 0);
    ngx_rtmp_mp4_field_32(b, 0);

    /* next track id */
    ngx_rtmp_mp4_field_32(b, 1);

    ngx_rtmp_mp4_update_box_size(b, pos);

    return NGX_OK;
}
3.2.2 Movie Extends Box (mvex)

mvex 是 fMP4 的标准盒子。它的作用是告诉解码器这是一个 fMP4 的文件，具体的 samples 信息内容不再放到 trak 里面，而是在每一个 moof 中。基本格式为：


aligned(8) class MovieExtendsHeaderBox extends FullBox(‘mehd’, version, 0) { if (version==1) {
      unsigned int(64)  fragment_duration;
   } else { // version==0
      unsigned int(32)  fragment_duration;
   }
}
3.2.2.1 Track Extends Box (trex)

trex 是 mvex 的子一级 box 用来给 fMP4 的 sample 设置默认值。基本内容为

aligned(8) class TrackExtendsBox extends FullBox(‘trex’, 0, 0){ 
    unsigned int(32) track_ID;
    unsigned int(32) default_sample_description_index;
    unsigned int(32) default_sample_duration;
    unsigned int(32) default_sample_size;
    unsigned int(32) default_sample_flags 
}
3.2.3 Track Box (trak)

trak box 就是主要存放相关 media stream 的内容。

3.2.3.1 Track Header Box (tkhd)

tkhd 是 trak box 的子一级 box 的内容。主要是用来描述该特定 trak 的相关内容信息。其主要内容为：

  • 基本格式如下:

aligned(8) class TrackHeaderBox
   extends FullBox(‘tkhd’, version, flags){
   if (version==1) {
      unsigned int(64)  creation_time;
      unsigned int(64)  modification_time;
      unsigned int(32)  track_ID;
      const unsigned int(32)  reserved = 0;
      unsigned int(64)  duration;
   } else { // version==0
      unsigned int(32)  creation_time;
      unsigned int(32)  modification_time;
      unsigned int(32)  track_ID;
      const unsigned int(32)  reserved = 0;
      unsigned int(32)  duration;
}


const unsigned int(32)[2] reserved = 0;
template int(16) layer = 0;
template int(16) alternate_group = 0;
template int(16) volume = {if track_is_audio 0x0100 else 0}; const unsigned int(16) reserved = 0;
template int(32)[9] matrix=
{ 0x00010000,0,0,0,0x00010000,0,0,0,0x40000000 };
   // unity matrix
   unsigned int(32) width;
   unsigned int(32) height;
}
  • 字段说明:
字段长度说明默认值
version4版本
creation_time4创建时间，非必须0
modification_time4修改时间，非必须0
track_ID4指明当前描述的 track ID1
reserved4保留0
duration4当前 track 内容持续的时间。通常结合 timescale 进行相关计算0
reserved12保留字段0
reserved2保留字段0
alternate_group2保留字段0
volume2保留字段if track_is_audio 0x0100 else 0
reserved2保留字段0
matrix9 * 4matrixb, 1, 0, 0, 1, 0, 0 , width , height
3.2.3.2 Media Box (media)

mdia 主要用来包裹相关的 media 信息。

(1) Media Header Box (mdhd)
  • 基本格式如下:
aligned(8) class MediaHeaderBox extends FullBox(‘mdhd’, version, 0) { if (version==1) {
      unsigned int(64)  creation_time;
      unsigned int(64)  modification_time;
      unsigned int(32)  timescale;
      unsigned int(64)  duration;
   } else { // version==0
      unsigned int(32)  creation_time;
      unsigned int(32)  modification_time;
      unsigned int(32)  timescale;
      unsigned int(32)  duration;
}

bit(1) pad = 0;
	unsigned int(5)[3] language; // ISO-639-2/T language code unsigned int(16) pre_defined = 0;
}
  • 字段说明:
字段长度说明默认值
version4版本
creation_time4创建时间，非必须0
modification_time4修改时间，非必须0
timescale4文件媒体在1秒时间内的刻度值，可以理解为1秒长度的时间单元数无
duration4当前 track 内容持续的时间。通常结合 timescale 进行相关计算0
lanuage4s表明当前 trak 的语言。因为该字段总长为 15bit，通常是和 pad 组合成为 2B 的长度。-
(2) Handler Reference Box(hdlr)
  • 基本格式如下:

aligned(8) class HandlerBox extends FullBox(‘hdlr’, version = 0, 0) { 
	unsigned int(32) pre_defined = 0;
	unsigned int(32) handler_type;
	const unsigned int(32)[3] reserved = 0;
	string   name;
}
  • 字段说明:
字段长度说明默认值
version4版本
pre_defined4版本0
handler_type4是代指具体 trak 的处理类型0
reserved4 * 3reserved0
datastringreserved“VideoHandler” or “SoundHandler”
  • handler_type 类型如下：
	vide : Video track
	soun : Audio track
	hint : Hint track
	meta : Timed Metadata track
	auxv : Auxiliary Video track
3.2.3.3 Media Information Box (minf)

minf 是子属内容中，重要的容器 box，用来存放当前 track 的基本描述信息。

######（1） Video Media Header Box（vmhd）

  • 基本格式如下:
aligned(8) class VideoMediaHeaderBox
	extends FullBox(‘vmhd’, version = 0, 1) {
	template unsigned int(16) graphicsmode = 0; // copy, see below 
	template unsigned int(16)[3] opcolor = {0, 0, 0};
}

######（2） Sound Media Header Box（smhd）

  • 基本格式如下:
aligned(8) class SoundMediaHeaderBox
   extends FullBox(‘smhd’, version = 0, 0) {
   template int(16) balance = 0;
   const unsigned int(16)  reserved = 0;
}

######（3） Data Information Box（dinf）

dinf 是用来说明在 trak 中，media 描述信息的位置。其实本身就是一个容器，没啥内容：

  • 基本格式如下:
aligned(8) class SoundMediaHeaderBox
   extends FullBox(‘smhd’, version = 0, 0) {
   template int(16) balance = 0;
   const unsigned int(16)  reserved = 0;
}

######（4） Data Reference Box（dref）

dref 是用来设置当前Box描述信息的 data_entry。

  • 基本格式如下:
aligned(8) class DataReferenceBox
   extends FullBox(‘dref’, version = 0, 0) {
   unsigned int(32)  entry_count;
   
   for (i=1; i <= entry_count; i++) {
    	DataEntryBox(entry_version, entry_flags) data_entry; }
 }

3.3 Moof Box

3.4 Sidxs Box

参考文章：
1. 学好 MP4，让直播更给力

2. mp4规范

bytedance-踏锋
关注
专栏目录
自适应流媒体传输（三）——和TS格式说再见
张晖的专栏
01-18 1万+
如果你读过MPEG-DASH(23009 - Dynamic Adaptive Streaming over HTTP)的spec，一定能感觉到整个标准对fMP4这种格式的强烈倾向性。HLS倒是一直喜欢和TS打交道，不过在最新的标准中，也加入了对fMP4的支持。大家可能会有疑惑，好好的TS格式已经用了有20年了，这些新时代下的streaming协议干嘛还要搞一个新格式来用呢？本文就来简单介绍一下fm
fmp4格式解析
老姜大叔的小黑屋
11-04 3351
一个典型的fmp4格式如下 sidx box（segment index）： SidxBox: unsigned int(32) size; int(32) type; if (size==1) { unsigned int(64) largesize; } unsigned int(8) version; bit(24) flags; unsigned int(32) ref...
fmp4-stream-online-segmenter:这是一个允许您从任何fmp4流文件创建DASH清单的工具。 有在线和CLI版本，我们也提供文件和流版本
05-01
fmp4-stream-online-segmenter 这是一个允许您从任何fmp4流或文件（仅允许1 h264 / AAC轨道）创建DASH清单的工具。对于在线版本，所有过程都在浏览器中完成，因此输入的fmp4文件不会上传到任何地方，细分过程快速而安全。 我们在DASH清单中使用字节范围请求，以便您可以将相同的fmp4文件用作源，而无需修改/分割它。 您还可以在CLI（nodeJS）中执行相同的分段器，然后还可以使用它对实时fmp4 TCP流或本地fmp4文件进行分段，在这种情况下，可以生成块并将其保存到本地磁盘，将不使用字节范围。 浏览器中的用法 点击这里 选择所需的目标持续时间（默认情况下，它会在每个原子原子上创建一个新项目），然后从本地计算机中选择一个.mp4（片段化）文件（请参阅注释1），或放置任何fmp4文件的URL（请记住，正确的CORS政策） .mp4文件将在您的浏
Fmp4文件格式介绍
11-07
MP4和FMP4文件封装格式介绍，已经和其它文件格式的比较。
MP4封装格式详解
最新发布
Garllic的博客
07-30 1589
是容器box，定义了MP4文件的元数据信息，在文件中有且仅有一个，moov里面包含的子box作为描述媒体数据的信息的容器。多媒体实际数据，如音频或视频数据，则在moov box中被引用，但不包含在其中。moov至少包含以下3种box中的一种，也可以包含其他（这里不做介绍）mvhd：Movie Header Box，存放多媒体信息头的容器。cmov：CompressMovie box，压缩过的电影信息容器。rmra：Reference Movie box，参考电影信息容器。
Fmp4文件格式介绍.ppt
06-02
html5中Fragmented mp4格式详解
媒体格式分析之FMP4
spy_007_的博客
11-16 1940
https://www.jianshu.com/p/dee55d54fd54
媒体文件格式分析之FMP4
yinshipin007的博客
09-01 1095
媒体文件格式分析之FMP4 MP4 中最基本的单元就是Box，它内部是通过一个一个独立的Box拼接而成的。所以，这里，我们先从 Box 的讲解开始,每个 Box 是由 Header 和 Data 组成的，FullBox 是 Box 的扩展，Box 结构的基础上在 Header 中增加 8bits version 和 24bits flags1. 名词解释2. 最小单元Box2.1 常见的mp4文件结构（简化版）​。
多款媒体音视频文件分析工具
01-06
总的来说，了解并掌握这些媒体文件分析工具对于处理不同格式的音视频文件至关重要，它们帮助我们在多媒体内容的制作、分发和播放过程中实现高效和精确的操作。无论是修复损坏的文件、优化编码设置还是确保跨平台兼容...
websocket-fmp4、websocket-flv 视频播放器 web端 wsplayer
12-07
FMP4（Fragmented MP4）是ISO基础媒体文件格式（ISO BMFF）的一个变种，常用于流式传输和实时视频。FMP4将大视频文件分成多个小片段（称为“Box”或“atoms”），每个片段可以独立传输和解码，这使得视频流能更灵活...
rtsp2fmp4.rar
07-19
本文将深入探讨如何使用FFmpeg API将RTSP流转换为FMP4格式的文件，主要关注其技术原理和实现步骤。 首先，我们需要了解FFmpeg库。FFmpeg是一个开源项目，提供了一套完整的工具和API，用于处理音频和视频，包括编码...
fmp4视频文件及分析工具
08-18
包含一个分析工具（MP4Reader）和一个fmp4的视频文件
ISO-IEC-14496-12-2015.pdf mp4/fmp4标准文档
02-15
综上所述，ISO/IEC 14496-12:2015文档是深入理解和操作MP4与fmp4格式的关键，无论你是开发者、内容创作者还是网络管理员，都需要对这一标准有深入的了解，以便更好地利用这些技术进行多媒体内容的处理和分发。
视频监控平台EasyCVR增加fMP4流媒体视频格式及其应用场景介绍
EasyCVR视频融合云平台的技术博客
01-23 1662
fMP4格式在媒体存储和分发方面也具有一定的优势。由于视频被切分为小片段，可以更加灵活地进行存储和分发。
fmp4打包H264详解
技术控的笔记
08-18 21万+
MP4(MPEG-4 Part 14)是在“ISO/IEC 14496-14”标准文件中定义的，属于流媒体文件打包的一种方式；针对流式传输场景，分段的mp4格式，越来越多的被应用，本位主要针对fmp4进行H264打包进行详细说明
fmp4打包H265视频流
热门推荐
技术控的笔记
09-16 21万+
本文主要描述fmp4封装H265的方式，主要对与H264封装的区别部分进行描述，有关相同部分可参照我的另一篇文章fmp4封装和264详解
软编码Flv 到Mp4 容器(四) fmp4 总览和基础讲解
高大魔王的博客
05-17 6532
https://github.com/332065255/flv2fmp4代码库首先约定几个定义 mp4容器,是由box组成 box分为Container box 和full boxContainer box意思是容器box,里面会包含更多的box, 代表有moov box full box是单个box,里面不会包含更多的box,代表有ftyp box标准的box开头的4个字节（32位）为
fmp4码率统计
u010643777的专栏
12-06 440
 我使用的视频是peaky blinders的S01E01，文件格式为mkv，大小550KB，时长56min，1024x544。  使用ffmpeg将mkv重新打包为mp4。 ffmpeg -i input.mkv -y -vcodec copy -acodec copy output.mp4  使用ffmpeg，将mp4生成m4s的小文件，需要重新编码。每两秒生成一个片，编码速率设置为2Mbp...
HLS+FMP4方案对H.265+AAC支持要点
weixin_41422027的博客
06-09 4396
​问题背景: 2017年的苹果WWDC大会上，苹果宣布HEVC支持HLS，涉及了iOS、MacOS和tvOS等系统终端。苹果之所以乐意这个事情，首先HLS就是他们家的，近些年一直把HLS致力于推成Web标准，其次苹果手握大量H.265的专利，也不想谷歌的AOM对应的VP9标准一家独大,HLS虽然延时有些大，但不可否认的，目前HLS是跨平台做的最好的协议。 我们之所以想实现下这块是因为近年来： 1.视频监控领域现在摄像头和NVR对H.265支持的越来越好，很多设备后台默认配置现在就是H.265，所.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值