HTML 5 直播之Media Source Extension

最新推荐文章于 2022-02-19 15:16:52 发布

sooth2008

最新推荐文章于 2022-02-19 15:16:52 发布

阅读量812

点赞数

分类专栏：流媒体研发管理

原文链接：https://www.w3.org/TR/media-source/#mediasource

版权

流媒体同时被 2 个专栏收录

15 篇文章 1 订阅

订阅专栏

研发管理

4 篇文章 0 订阅

订阅专栏

一概述

Media Source Extension允许 JavaScript 动态构造用于 <音频> 和 <视频> 的媒体流。它定义了一个 MediaSource 对象，该对象可以用作 HTMLMediaElement 的媒体数据源。MediaSource 对象具有一个或多个源缓冲区对象。应用程序将数据段追加到SourceBuffer对象，并可以根据系统性能和其他因素调整附加数据的质量。来自SourceBuffer 对象的数据作为解码和播放的音频、视频和文本数据的跟踪缓冲区进行管理。这些扩展使用的字节流规范可在字节流格式注册表中提供 [MSE-REGISTRY]。

1.1目标

此规范的设计符合以下目标：

允许 JavaScript 构造媒体流，与获取媒体进行访问时无关。
定义拼接和缓冲模型，以方便自适应流、广告插入、时间转换和视频编辑等用例。
最大限度地减少 JavaScript 中对媒体分析需求。
尽可能多地利用浏览器缓存。
提供字节流格式规范的要求。
不需要支持任何特定的媒体格式或编解码器。

此规范定义：

用户代理的规范行为，用于在处理媒体数据时实现用户代理和 Web 应用程序之间的互操作性。
使其他规范能够定义要在此规范中使用的媒体格式的规范要求。

1.2定义

活动轨道缓冲区

为提供和的编码帧的轨道缓冲区。所有这些轨道都与列表中的源缓冲区对象关联。enabledaudioTracksselectedvideoTracks"showing""hidden"textTracksactiveSourceBuffers

追加窗口

用于在追加时筛选出编码帧的表示时间戳范围。追加窗口表示单个连续时间范围，具有单个开始时间和结束时间。允许将具有此范围内的表示时间戳的编码帧追加到 SourceBuffer 中，而筛选出此范围外的编码帧。追加窗口的开始和结束时间分别由和属性控制。appendWindowStartappendWindowEnd

编码框架

具有表示时间戳、解码时间戳和编码帧持续时间的媒体数据单元。

编码帧持续时间

编码框架的持续时间。对于视频和文本，持续时间指示视频框架或文本的显示时间。对于音频，持续时间表示编码帧中包含的所有样本的总和。例如，如果音频帧包含 441 个@44100Hz帧持续时间为 10 毫秒。

编码帧结束时间戳

编码帧表示时间戳及其编码帧持续时间的总和。它表示紧跟编码帧的表示时间戳。

编码帧组

一组相邻且具有单调增加解码时间戳且没有任何间隙的编码帧。编码帧处理算法检测到的不连续性和调用将触发新的编码帧组的开始。abort()

解码时间戳

解码时间戳指示帧需要解码的最新时间，假设此帧和任何相关帧的瞬时解码和渲染（这等于最早帧的表示时间戳，按表示顺序，取决于此帧）。如果帧可以按表示顺序解码，则解码时间戳必须存在于字节流中或可从字节流派生。如果情况并非如此，用户代理必须运行追加错误算法。如果帧无法按表示顺序解码，并且字节流中不存在解码时间戳，则解码时间戳等于表示时间戳。

初始化段

包含解码一系列媒体段所需的所有初始化信息的字节序列。这包括编解码器初始化数据、多路复用段的轨道 ID 映射和时间戳偏移（例如编辑列表）。

媒体细分

包含部分媒体时间线的分组和时间戳媒体数据的字节序列。媒体段始终与最近追加的初始化段关联。

媒体源对象 URL

MediaSource 对象 URL 是创建的唯一Blob URI [FILE-API]。它用于将MediaSource 对象附加到 HTMLMediaElement。createObjectURL()

这些 URL 与 Blob URI 相同，只不过该功能定义中引用文件和 Blob 对象的内容特此扩展为也应用于MediaSource对象。

MediaSource对象 URL 的源是调用期间的相关设置对象。thiscreateObjectURL()

父媒体源

源缓冲区对象的父媒体源是创建该对象的 MediaSource对象。

演示文稿开始时间

演示文稿开始时间是演示文稿中最早的时间点，并指定初始播放位置和最早可能的位置。使用此规范创建的所有演示文稿的演示文稿开始时间为 0。