parseChunk学习

最新推荐文章于 2021-08-17 18:02:05 发布
最新推荐文章于 2021-08-17 18:02:05 发布
阅读量643 收藏 1
点赞数
分类专栏： android多媒体
任意一个MP4文件，它都是由一个个相邻的box组成的，播放MP4文件前需要解析这些box获得视频的数据，主要结构如下：

fytp-----------moov(视频数据结构)---------------------------------mdat（视频数据）
                        |                                                                           |
                        |-----mvhd                                                             |----chunk1
                        |-----trak                                                              |           |
                        |-----trak                                                              |           |--sample1
                                   |                                                                 |           |--sample2
                                   |----tkhd                                                     |           |--samplen
                                   |----mdia                                                     |
                                            |                                                        |
                                            |--mdhd                                               |
                                            |--minf                                              |----chunkn
                                                  |                                                            |
                                                  |---stbl                                                 |--samplem
                                                         |
                                                         |---stts
                                                         |---stsd
                                                         |---stsc
                                                         |---stco
                                                         |---....

1：解析FOURCC('s', 't', 'b', 'l')和FOURCC('t', 'r', 'a', 'k')这种容器型的box之后会跟着解析器内部的子box，两者的代码是放在一起的
2：parseChunk主要是解析moov以及其内部的子box，上面这段代码放在判断moov之前，就是为了在确保遇到moov函数返回前，会进行moov内部子box的深入解析。
case FOURCC('m', 'o', 'o', 'v'):
            case FOURCC('t', 'r', 'a', 'k'):
            case FOURCC('m', 'd', 'i', 'a'):
            case FOURCC('m', 'i', 'n', 'f'):
            case FOURCC('d', 'i', 'n', 'f'):
            case FOURCC('s', 't', 'b', 'l'):
            case FOURCC('m', 'v', 'e', 'x'):
            case FOURCC('m', 'o', 'o', 'f'):
            case FOURCC('t', 'r', 'a', 'f'):
            case FOURCC('m', 'f', 'r', 'a'):
            case FOURCC('u', 'd', 't', 'a'):
            case FOURCC('i', 'l', 's', 't'):
            {
                   if (chunk_type == FOURCC('s', 't', 'b', 'l')) {
                        LOGV("sampleTable chunk is %d bytes long.", (size_t)chunk_size);
                        mLastTrack->sampleTable = new SampleTable(mDataSource);
                  }
                  bool isTrack = false;
                   if (chunk_type == FOURCC('t', 'r', 'a', 'k')) {
                        isTrack = true;

                        Track *track = new Track;
                        track->next = NULL;
                        if (mLastTrack) {
                              mLastTrack->next = track;
                        } else {
                              mFirstTrack = track;
                        }
                  }

                   off64_t stop_offset = *offset + chunk_size;
            *offset = data_offset;
            while (*offset < stop_offset) {
                status_t err = parseChunk(offset, depth + 1);
                if (err != OK) {
                    return err;
                }
            }

                  if (*offset != stop_offset) {
                        return ERROR_MALFORMED;
                  }

                  if (isTrack) {
                        if (mLastTrack->skipTrack) {
                              Track *cur = mFirstTrack;

                              if (cur == mLastTrack) {
                                    delete cur;
                                    mFirstTrack = mLastTrack = NULL;
                              }
                   } else if (chunk_type == FOURCC('m', 'o', 'o', 'v')) {
                        mInitCheck = OK;
                        if (!mIsDrm) {
                              return UNKNOWN_ERROR;   // Return a dummy error.
                        } else {
                              return OK;
                        }
                  }
                  break;
            }

3：解析trak的第一个子box，tkhd头box
case FOURCC('t', 'k', 'h', 'd'):
            {
                  status_t err;
                  if (( err = parseTrackHeader(data_offset, chunk_data_size)) != OK) {
                        return err;
                  }
                  *offset += chunk_size;
                  break;
            }
4：解析mdia box中的第一个子box，头box：mdhd，并分别从里面获取版本，timescale，track的时常等信息
            case FOURCC('m', 'd', 'h', 'd'):
            {
                  if (chunk_data_size < 4) {
                        return ERROR_MALFORMED;
                  }

                   uint8_t version;
            if (mDataSource->readAt(
                        data_offset, &version, sizeof(version))
                    < (ssize_t)sizeof(version)) {
                return ERROR_IO;
            }

                   mLastTrack->timescale = ntohl(timescale);

                  int64_t duration;

                   mLastTrack->meta->setInt64(
                    kKeyDuration, (duration * 1000000) / mLastTrack->timescale);

                   mLastTrack->meta->setCString(
                    kKeyMediaLanguage, lang_code);

                  *offset += chunk_size;
                  break;
            }

5：音频相关的box的解析，获取音频相关的信息
case FOURCC('m', 'p', '4', 'a'):
            case FOURCC('s', 'a', 'm', 'r'):
            case FOURCC('s', 'a', 'w', 'b'):
            {
                  uint8_t buffer[8 + 20];
                  if (mDataSource->readAt(
                                    data_offset, buffer, sizeof(buffer)) < (ssize_t)sizeof(buffer)) {
                        return ERROR_IO;
                  }
                  uint16_t data_ref_index = U16_AT(&buffer[6]);
                  uint16_t num_channels = U16_AT(&buffer[16]);
                  uint16_t sample_size = U16_AT(&buffer[18]);
                  uint32_t sample_rate = U32_AT(&buffer[24]) >> 16;
                  if (!strcasecmp(MEDIA_MIMETYPE_AUDIO_AMR_NB,
                                          FourCC2MIME(chunk_type))) {
                        // AMR NB audio is always mono, 8kHz
                        num_channels = 1;
                        sample_rate = 8000;
                  } else if (!strcasecmp(MEDIA_MIMETYPE_AUDIO_AMR_WB,
                                               FourCC2MIME(chunk_type))) {
                        // AMR WB audio is always mono, 16kHz
                        num_channels = 1;
                        sample_rate = 16000;
                  }
                  mLastTrack->meta->setCString(kKeyMIMEType, FourCC2MIME(chunk_type));
                  mLastTrack->meta->setInt32(kKeyChannelCount, num_channels);
                  mLastTrack->meta->setInt32(kKeySampleRate, sample_rate);

                  off64_t stop_offset = *offset + chunk_size;
                  *offset = data_offset + sizeof(buffer);
                  while (*offset < stop_offset) {
                        status_t err = parseChunk(offset, depth + 1);
                        if (err != OK) {
                              return err;
                        }
                  }
                  if (*offset != stop_offset) {
                        return ERROR_MALFORMED;
                  }
                  break;
            }
6：视频box解析，获取视频相关的信息
            case FOURCC('m', 'p', '4', 'v'):
            case FOURCC('s', '2', '6', '3'):
            case FOURCC('H', '2', '6', '3'):
            case FOURCC('h', '2', '6', '3'):
            case FOURCC('a', 'v', 'c', '1'):
            {
                  mHasVideo = true;
                  uint8_t buffer[78];
                  if (mDataSource->readAt(
                                    data_offset, buffer, sizeof(buffer)) < (ssize_t)sizeof(buffer)) {
                        return ERROR_IO;
                  }

                  uint16_t data_ref_index = U16_AT(&buffer[6]);
                  uint16_t width = U16_AT(&buffer[6 + 18]);
                  uint16_t height = U16_AT(&buffer[6 + 20]);

                  // The video sample is not stand-compliant if it has invalid dimension.
                  // Use some default width and height value, and
                  // let the decoder figure out the actual width and height (and thus
                  // be prepared for INFO_FOMRAT_CHANGED event).
                  if (width == 0)   width   = 352;
                  if (height == 0) height = 288;

                  mLastTrack->meta->setCString(kKeyMIMEType, FourCC2MIME(chunk_type));
                  mLastTrack->meta->setInt32(kKeyWidth, width);
                  mLastTrack->meta->setInt32(kKeyHeight, height);

                  off64_t stop_offset = *offset + chunk_size;
                  *offset = data_offset + sizeof(buffer);
                  while (*offset < stop_offset) {
                        status_t err = parseChunk(offset, depth + 1);
                        if (err != OK) {
                              return err;
                        }
                  }
                  break;
            }
7：所有stbl box以及其子box相关的解析，解析stbl的时候new了一个SampleTable，随后调用其各个方法完成设置，大部分函数的参数为data_offset，和chunk_data_size。
if (chunk_type == FOURCC('s', 't', 'b', 'l')) {
                        LOGV("sampleTable chunk is %d bytes long.", (size_t)chunk_size);
                         mLastTrack->sampleTable = new SampleTable(mDataSource);
}

case FOURCC('s', 't', 's', 'd'):
            {
                  break;
}

            case FOURCC('s', 't', 'c', 'o'):
            case FOURCC('c', 'o', '6', '4'):
            {
                   status_t err =
                mLastTrack->sampleTable->setChunkOffsetParams(
                        chunk_type, data_offset, chunk_data_size);
                  *offset += chunk_size;
                  break;
            }

            case FOURCC('s', 't', 's', 'c'):
            {
                   status_t err =
                mLastTrack->sampleTable->setSampleToChunkParams(
                        data_offset, chunk_data_size);
                  *offset += chunk_size;
                  break;
            }

            case FOURCC('s', 't', 's', 'z'):
            case FOURCC('s', 't', 'z', '2'):
            {
                   status_t err =
                mLastTrack->sampleTable->setSampleSizeParams(
                        chunk_type, data_offset, chunk_data_size);
                  size_t max_size;
                   err = mLastTrack->sampleTable->getMaxSampleSize(&max_size);

                  // Assume that a given buffer only contains at most 10 fragments,
                  // each fragment originally prefixed with a 2 byte length will
                  // have a 4 byte header (0x00 0x00 0x00 0x01) after conversion,
                  // and thus will grow by 2 bytes per fragment.
                  mLastTrack->meta->setInt32(kKeyMaxInputSize, max_size + 10 * 2);
                  *offset += chunk_size;

                  // Calculate average frame rate.
                  const char *mime;
                  CHECK(mLastTrack->meta->findCString(kKeyMIMEType, &mime));
                  if (!strncasecmp("video/", mime, 6)) {
                        size_t nSamples = mLastTrack->sampleTable->countSamples();
                        int64_t durationUs;
                        if (mLastTrack->meta->findInt64(kKeyDuration, &durationUs)) {
                              if (durationUs > 0) {
                                    int32_t frameRate = (nSamples * 1000000LL +
                                                      (durationUs >> 1)) / durationUs;
                                    mLastTrack->meta->setInt32(kKeyFrameRate, frameRate);
                              }
                        }
                  }
                  break;
            }
            case FOURCC('s', 't', 't', 's'):
            {
                  status_t err =
                         mLastTrack->sampleTable->setTimeToSampleParams(
                        data_offset, chunk_data_size);
                  *offset += chunk_size;
                  break;
            }
            case FOURCC('c', 't', 't', 's'):
            {
                  status_t err =
                         mLastTrack->sampleTable->setCompositionTimeToSampleParams(
                        data_offset, chunk_data_size);
                  *offset += chunk_size;
                  break;
            }
            case FOURCC('s', 't', 's', 's'):
            {
                  status_t err =
                         mLastTrack->sampleTable->setSyncSampleParams(
                        data_offset, chunk_data_size);
                  *offset += chunk_size;
                  break;
            }
创造晴天81
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
parse chunk
02-10
解析http的chunk数据
Python自然语言处理学习笔记之信息提取步骤&分块（chunking）
weixin_30412577的博客
08-24 701
一、信息提取模型　　 　　信息提取的步骤共分为五步，原始数据为未经处理的字符串， 第一步：分句，用nltk.sent_tokenize(text)实现,得到一个list of strings 第二步：分词，[nltk.word_tokenize(sent) for sent in sentences]实现，得到list of lists of strings 第三步：标记词性，[nltk....
libxml读取xml文件的其他方法
nosmatch的专栏
05-08 3960
在前面一篇文章我提到了一种分析文档的方法，即调用xmlParseFile函数。当我看了libxml官网上的code examples之后，我发现libxml还提供了更加精准的分析方式。 1 调用xmlReadFile函数 xmlReadFile函数接收三个参数，第一个参数是文件名，第二个参数是编码类型，第三个参数是分析时的选项。由于提供了更多的参数，所以这个函数能更精确的处理文件。
纯C语言XML解析xmlparse.c&xmlparse;.h
05-08
精短高效的XML解析器,纯C单一程序,应用于银行的国税库行横向联网接口系统中,稳定可靠,运行速度飞快,非相应的JAVA程序可比.此处为完整源码
libxml2 Push Parsing
weixin_34304013的博客
02-20 103
http://bill.dudney.net/roller/objc/entry/libxml2_push_parsing The fastest way to parse XML on iPhone OS is with libxml2. You can find out all about libxml2 from the official site here. There is a ton...
文本分块 text chunk
09-22
chunked_sentence = chunk_parser.parse(tagged_sentence) # 输出结果 print(chunked_sentence) ``` #### 八、其他标签模式示例 除了上述示例外，还可以定义更多的标签模式来识别不同类型的名词短语： - **包含...
【机器学习】数据准备--python爬虫.doc
07-09
keyword = urllib.parse.quote(self.keyword) params = [] for i in range(1, self.paginator + 1): params.append( f'tn=resultjson_...
php常用函数 学习整理
12-29
- `chunk_split()`：将字符串分割成指定长度的小组件。 - `strrev()`：将字符串倒序排列。 - `explode()`：根据分隔符将字符串拆分为数组。 - `implode()`：将数组元素合并为一个字符串。 - `strtolower()`和`...
从零学习node.js之搭建http服务器（二）.docx
01-22
const query = url.parse(req.url, true).query; if (query.submit) { let data = ` <p>Username: ${query.username} <p>Password: ${query.password} <p>Age: ${query.age} `; res.writeHead(200, {'...
htmlparser修改html,HTMLparser
weixin_32667433的博客
06-03 227
DetailshtmlParserCtxttypedef xmlParserCtxt htmlParserCtxt;htmlParserCtxtPtrtypedef xmlParserCtxtPtr htmlParserCtxtPtr;htmlParserNodeInfotypedef xmlParserNodeInfo htmlParserNodeInfo;htmlSAXHandlertyped...
如何使用按键精灵完成挂机任务
01-19
如何使用按键精灵完成挂机任务，
Android Stagefright MPEG4Extractor分析
08-26 3761
http://www.cnblogs.com/shaobin0604/archive/2011/08/16/2141388.html   视频播放的基本流程                             video track    +-------------
解决webpack打包后chunk.js 数量过多，影响加载速度问题（Jeecg）
热门推荐
魏知非的博客
08-17 1万+
项目目前用的是路由懒加载的模式，在每一次刷新都会重新加载很多js文件，由于路由都没有自定义webpackChunkName，所以就是默认的11(数字).js这种。 打包后默认是chunk-xxx.js 一种方法是移除prefetch，此插件是用来告诉浏览器在页面加载完成后，利用空闲时间提前获取用户未来可能会访问的内容。具体内容指路官网：https://cli.vuejs.org/zh/guide/html-and-static-assets.html#prefetch 代码如下： chainWeb
stagefright之MPEG4Extractor（一）
缥缈孤鸿影的专栏
06-05 2746
2014/06/05   mp4文件都是由各个box组成，每个box前四个字节为box的size,第二个四字节为box的type，box type有ftyp moov trak 等等好多种. 在MPEG4Extractor::parseChunk(off64_t *offset, int depth)里解析各个box。 里面的Track主要是建立video track和audio tr
Tomcat如何实现HTTP协议
flower_517的博客
04-22 1715
协议，直白的说就是存在一堆字节，按照协议指定的规则解析就能得出这堆字节的意义。HTTP 解析分为两个部分：解析请求头和请求体。 请求头解析的难点在于它没有固定长度的头部，也不像其他协议那样提供数据包长度字段，判断是否读取到一个完整的头部的唯一依据就是遇到一个仅包括回车换行符的空行，好在在找寻这个空行的过程中能够完成请求行和头域的分析。 请求体的解析就是按照头域的传输编码和内容编码进行解码。那么 T...
iPhone开发技巧之网络篇（1）--- 解析XML
demigod2009的专栏
05-17 2028
<br />开发 iPhone 上的网络应用程序的时候时常需要解析XML文档，比如web应用中的SOAP，REST，RSS信息等都是以XML为基础的。掌握XML解析的技术是很重要的。这里我将为大家介绍一下iPhone下解析XML的几种方法，并比较其性能。iPhone的XML库<br />iPhone中标准的XML解析库有两个，分贝是libxml2和NSXMLParser。<br />libxml2由Gnome项目开发、由于是MIT的开放协议，已经移植到许多的平台，在iPhone上也能使用。<br />lib
android 多媒体文件之mp4分析---base on jellybean(六)
太妃糖的专栏
09-10 1万+
我们讲多媒体，涉及到的最多的就是MP4文件和MP3文件了，但是我们对这两个文件的格式了解多少呢，它的由有哪些部分部分组成呢？它的核心部件是哪些？它哪些部分是供解码器去解析的呢？带着这些疑问，我们首先来探索下MP4文件。 我们首先用MP4Info这个工具来看下MP4的大貌：   从上图我们可以看到MP4文件中的所有数据都装在box中，也就是说MP4文件由若干个box组成，每个box有类型和
ASIHTTPRequest和libxml结合，实现边请求边解析
禚来强(亿刀) 的iphone开发专栏--我们 一群 热爱 移动开发，如果你也是，就加入我们。
07-02 2855
ASIHTTPRequests 是非常强大的 http 异步请求开源框架，libxml 是非常老牌的 C 语言xml函数库。在 http + xml 文件的 javaEE－iPhone 应用中，如何把二者结合起来，实现在异步请求数据的同时，进行xml的同步解析呢？这涉及到 3 方面的关键知识：¥  ASIHTTPRequest这部分的内容可以参考作者另一篇博文《ASIHTTPRequest的使用》
使用libxml2对xml进行SAX读取
liuhuili23的专栏
11-23 3030
//下面的程序是从这里的例子修改过来的 //查找并打印出元素,属性值,和它的子元素值 //属性值必须在双引号里面，否则libxml通过SAX解析不了   #include #include #include #include #include #include "libxml/SAX2.h" #include "libxml/xmlstring.h" int g_elemen
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值