MP4添加自定义box

        MP4（MPEG-4 Part 14）是一种常见的数字多媒体容器格式，用于存储音频、视频、字幕和其他多媒体数据。MP4文件由一系列称为box（也称为atom）的结构组成。每个box都有一个四字节的类型标识符和一个长度字段，用于表示box的大小。

1、文件结构：       

        MP4文件由一个称为ftyp的box开始，用于指定文件类型和版本。之后是一个或多个moov box，其中包含了媒体文件的元数据信息，如媒体流的描述、时长、编解码器配置等。moov box之后通常是一个或多个mdat box，用于存储媒体数据。moov和mdat的先后顺序不固定，box顺序不影响播放，播放器会根据box结构解析出box的类型。

2、Box（Atom）：    

        Box是MP4文件的基本组成单元，每个box由一个类型标识符和一个长度字段组成。每个box的类型标识符是一个四字节的ASCII码，用于标识该box的类型。长度字段表示box的大小，包括类型标识符、长度字段本身和box的内容。box中可以包含另一个box，这种box称为container box。

3、常见的Box类型：

•  ftyp（File Type Box）：指定文件的类型和版本信息，以及兼容的文件类型。
• moov（Movie Box）：包含了媒体文件的元数据信息，如媒体流的描述、时长、编解码器配置等。
• mdat（Media Data Box）：存储了媒体数据，如音频、视频等。

        moov是一个container box，下面的box就是在moov种

• mvhd（Movie Header Box）：包含了媒体文件的基本信息，如时长、时间戳等。
•  trak（Track Box）：描述了一个媒体流，如音频轨道、视频轨道等。trak也是一个container box里面包含很多子box

        trak box 包含了一系列子 box，其中两个最重要的子 box 是 tkhd（Track Header Box）和 mdia（Media Box）。
    

• tkhd（Track Header Box）：tkhd box 包含了关于特定媒体轨道的基本信息，如时长、位置等。这个 box 提供了轨道的 ID、类型（音频或视频）、宽度、高度、旋转角度等信息。tkhd box 通常用于描述媒体流的轨道属性和整体的视觉属性，如轨道的位置和尺寸。
• mdia（Media Box）：mdia box 是 trak box 的子 box，它包含了媒体流的媒体信息，如媒体类型、编解码器信息等。mdia box 本身也是一个 container box，它包含了更多描述媒体流的子 box，例如 mdhd、hdlr、minf 等。mdia box 用于描述媒体流的基本属性和特征，为后续的媒体数据描述提供了基础。

        下图是一个只包含视频的MP4文件结构，工具地址：MP4Box.js - JavaScript MP4 Reader/Fragmenter

        如果包含音频，则moov下会有两个trak,，分别表示音频和视频。本文的重点是在MP4文件中添加自定义box,所以对MP4种的box不进行详细介绍，这里只需要了解MP4的大概结构即可。

4、自定义box

        在 MP4 文件中，除了标准的 box 类型外，还可以使用自定义的 box 类型来存储特定的元数据或者附加信息。这些自定义 box 通常被用来扩展 MP4 文件的功能，以满足特定的应用需求。自定义 box 的格式与标准 box 类似，都由一个四字节的类型标识符和一个长度字段组成。

        自定义 box 的类型标识符通常是 ASCII 字符串，由大写字母和小写字母组成。开发者可以自由定义自己的 box 类型，但建议遵循一定的命名规范，以确保与标准 box 类型不冲突。

        一个box包括header和data：

+-----------+---------------------+
|  Header   |        Data         |
+-----------+---------------------+

        FullBox，是Box的扩展，Box结构的基础上在Header中增加8bits version和24bits flags，不是所有的box都是Full Box，要看官方文档对不同box的定义，同样自定义box也不一定是Full Box，依据自己需求定义box header，Full Box定义为： 

+----------------+---------------+--------------------+------------------------+-------------------+-------------------+
|	size(32bits) | 	type(32bits) | largesize(64bits)  |	extended_type(128bits) |   version(8bits)  |	flags(24bits)  |
+----------------+---------------+--------------------+------------------------+-------------------+-------------------+

        当size==0时，代表这是文件中最后一个Box；当size==1时，意味着Box长度需要更多bits来描述，在后面会定义一个64bits的largesize描述Box的长度；当type是uuid时，代表Box中的数据是用户自定义扩展类型，后面会有一个extended_type字段表示自定义扩展类型。

        这里我们假设自定义一个box,扩展类型为extend_test_type，Data为“mp4 extend test”，不添加version和flags，即非Full Box，则其结构如下：

+------------------------------------+-----------------+------------------------------+-------------------+
|	4+4+16+strlen("mp4 extend test") |  "uuid"(4bytes) | "extend_test_type(16bytes)   | "mp4 extend test" |
+------------------------------------+-----------------+------------------------------+-------------------+

        代码：

#include <stdint.h>
#include <stdio.h>
#include <string.h>

int main(int argc, char **argv)
{
    if (argc < 2) {
        printf("./bin input(mp4 file)\n");
        return -1;
    }
    FILE *file = fopen(argv[1], "r+");
    if (file == NULL) {
        printf("Failed to open file.\n");
        return -1;
    }

    // 将文件指针移动到文件末尾
    fseek(file, 0, SEEK_END);

    // 写入自定义box
    char *ptr = "mp4 extend test";
    int payload_size = strlen(ptr);
    int size = 4 + 4 + 16 + payload_size;

    // 以大端的方式写入size
    uint8_t tmp = (size >> 24) & 0xff;
    fwrite(&tmp, 1, 1, file);

    tmp = (size >> 16) & 0xff;
    fwrite(&tmp, 1, 1, file);

    tmp = (size >> 8) & 0xff;
    fwrite(&tmp, 1, 1, file);
    
    tmp = size & 0xff;
    fwrite(&tmp, 1, 1, file);

    fwrite("uuid", 1, 4, file);
    fwrite("extend_test_type", 1, 16, file);
    fwrite(ptr, 1, strlen(ptr), file);

    fclose(file);
    return 0;
}

        添加自定义box之后的文件结构如图所示：

        uuid就是添加的自定义box,并且mp4文件可以正常播放。

        从MP4文件中解析自定义box只需要遍历box找到类型为uuid的box即可，代码如下：

#include <stdio.h>
#include <stdlib.h>
#include <stdint.h>
long remaining_bytes(FILE *file)
{
    long pos = ftell(file);
    fseek(file, 0, SEEK_END);
    long file_size = ftell(file);
    fseek(file, pos, SEEK_SET);

    return file_size - pos;
}
int main(int argc, char **argv)
{
    if (argc < 2) {
        printf("./bin input(mp4 file)\n");
        return -1;
    }
    FILE *file = fopen(argv[1], "rb");
    if (file == NULL) {
        printf("Failed to open file.\n");
        return -1;
    }

    while (remaining_bytes(file) != 0) {
        // 读取size
        int32_t size = 0;
        for (int i = 0; i < 4; i++) {
            char ch;
            fread(&ch, 1, 1, file);
            size = (size << 8) | (unsigned char)ch;
        }

        // 读取type
        char type[5];
        fread(type, sizeof(char), 4, file);
        type[4] = '\0';

        printf("size:%d type: %s\n", size, type);

        // 判断是否继续读取largesize
        int64_t largesize = 0;
        if (size == 1) {
            // 读取largesize
            for (int i = 0; i < 8; i++) {
                char ch;
                fread(&ch, 1, 1, file);
                largesize = (largesize << 8) | (unsigned char)ch;
            }
        }
        // uuid
        if (strcmp(type, "uuid") == 0) {
            long pos = ftell(file);
            char ptr[17] = {0};
            fread(ptr, 1, 16, file);
            printf("extended_type:%s\n", ptr);
            char buffer[1024] = {0};
            fread(buffer, 1, largesize == 0 ? size - 4 - 4 - 16 : largesize - 4 - 4 - 8 - 16, file);
            printf("data:%s\n", buffer);
            fseek(file, pos, SEEK_SET);
        }
        if (size == 1) {
            fseek(file, largesize - 4 /*size*/ - 4 /*type*/ - 8 /*largesize*/, SEEK_CUR);
        } else {
            fseek(file, size - 4 /*size*/ - 4 /*type*/, SEEK_CUR);
        }
    }

    fclose(file);
    return 0;
}

        结果如下图：

        

         我的开源：

         1、Nvidia视频硬解码、渲染、软/硬编码并写入MP4文件。项目地址：https://github.com/BreakingY/Nvidia-Video-Codec
        2、Jetson Jetpack5.x视频编解码。项目地址：https://github.com/BreakingY/jetpack-dec-enc
        3、ffmpeg音视频(H264/H265/AAC)封装、解封装、编解码pipeline，支持NVIDIA硬编解码。项目地址：https://github.com/BreakingY/FFmpeg-Media-Codec-Pipeline
        4、simple rtsp server，小而高效的rtsp服务器，支持H264、H265、AAC、PCMA；支持TCP、UDP；支持鉴权。项目地址：https://github.com/BreakingY/simple-rtsp-server