音视频基础知识——素材理解

素材

素材是媒体内容生产中一切生产资料的集合，包括不限于视频、音频、图片、字幕等形式。

素材通过统一的协议把原始的数据有序组织起来，便于编辑与管理。比如一般的素材是由一个物理文件及其各类属性构成，在对素材进行剪辑处理时，不用改变源文件中的任何内容，通过记录素材中的各类属性来获取有用的信息，再通过引擎将提取的信息生成新的文件即可。在生产活动中，遇见特殊的生产需求，可将素材组织成特殊的形式来处理。如有时遇见内容过多需要多个物理文件来保存时，剪辑时需要统一管理，将多个文件合成一个素材，并共享其通用属性；或者是有时遇见多个镜头多个机位的处理时，可按时码或者其他特殊的标记将多个素材并列成一个素材来处理。总的来说，素材是媒体生产管理中重要的媒介。

素材的属性

1 .基本属性
（1）名称：素材相当于一个"壳"，素材的名称就是"壳"的名称。
（2）视频制式：编辑宽高比、幅面宽高比、像素宽高比、位宽、帧\场编辑、顶场底场优先、颜色空间等。
（3）帧率：表示每一秒素材中含有多少帧画面。如 50P：每一秒素材含有 50 帧画面。分为PAL 制与 NTSC 制，两种标准使用地区不一致，我国通常使用 PAL 制。PAL 制比较常见，平时使用的 50P、25P 皆属于 PAL 制。NTSC 制常见于日本与欧洲地区，平时使用的29.97P、59.94P 皆属于 NTSC 制。在 NTSC 制的丢帧模式下，29.97P、59.94P 帧率可以分别用 30000/1001、60000/1001 来表示。
（4）丢帧与非丢帧：非丢帧时码30FPS每小时有3600秒x30帧=10800帧，丢帧时码29.97FPS每小时有3600秒x29.97帧=107892帧，两者每小时误差108帧。所以加入丢帧时码，每分钟丢掉2帧，即xx:xx:xx:00和xx:xx:xx:01舍掉，当分钟数能整除10的时候则不丢，每小时正好丢掉(60-6)x2=108帧，消除了误差。59.94FPS同理，差别是每分钟丢4帧。
（5）长度："壳"的计量长度，以时间为单位，有两种表示形式。时码：如 01:25:32:24，表示素材的长度有 1 个小时 25 分钟 32 秒 24 帧。帧数：若素材有100 帧，在 25P 帧率下表示素材长 4s。
（6）Trim in\out：表示素材开始与结束的位置，Trim in 通常为 0，Trim out – Trim in 为素材的长度。通常素材的长度区间为[Trim in , Trim out )，为左闭右开的形式。
（7）素材 GUID：素材的唯一标志，判断是否为同一个素材即判断此标记是否相同。
（8）数据库 GUID：数据库的唯一标志，表示素材存储属性等信息存储的位置。
（9）目录 GUID：素材所属目录的唯一标志。
（10）项目 GUID：素材所属项目的唯一标志。
（11）素材创建时间、素材最后修改时间。

2. 文件属性


素材以画质类型可区分为高质量、低质量、流媒体等，一个素材可以包含一种或多种类型，每一种质量类型都对应相应的Clip Class。Clip Class可以理解为素材上的轨道，这些轨道区分为视频、音频、key 文件轨道、字幕文件轨道等。

每一个轨道内有一个或多个对应的物理文件，每一个物理文件记为 File Item，每个 File Item 具有如下属性：
（1）Clip In\out：本文件在素材中的起始与终止位置。若为虚拟素材，一个轨道内含有多个物理文件，每一个文件的其实与终止位置都不一致。

（2）File in\out：物理文件使用的起始与终止位置。
（3）File Length：物理文件的总长度。
（4）Media Type：使用的物理文件的轨道。物理文件内同样也存在类似于素材的轨道，设置此属性的目的是将素材的通道与物理文件的轨道进行映射。
（5）Path：文件路径。
（6）Name：文件名字。
（7）File Type：文件的类型，可区分为视频文件、图片文件、序列化图片文件、Key 文件等类型。
（8）文件格式：格式 GUID：唯一确定文件格式的标志。
1）视频格式：
视频制式：视频位宽（视频颜色细腻程度量化指标）、扫描模式（场编辑或帧编辑）、视频分辨率、视频颜色空间（色彩范围）。图片格式：像素深度（每个像素所占位数）、像素格式（RGBA 或 YUV）、图像宽高、扫描模式（场编辑或帧编辑）。
2）音频格式
通道数、采样率（例如 48KHZ）、量化位数（音频采样精度量化指标）。

3. 场景属性
（1）适配模式：填充、水平适配、垂直适配、自定义适配等。
（2）播放方式：原始方式、奇场优先、偶场优先、奇场拷贝、偶场拷贝等。
（3）五要素：时间、地点、人物、事件、关键字等。

4. 图标属性
大、中、小图标。

5. 标记点属性
标记点类型、名称、长度、注释、起始位置等。

6. 时码属性
LTC (Longitudinal Time Code)和 VITC (Vertical Interval Time Code)。素材轨道中存在时码轨道，可携带时码信息。

7. 特殊属性
（1）横向成组：将多个制式相同素材横向拼接在一起，组成新的素材，便于在时间线上对整体的素材进行操作。
（2）纵向成组：将多个制式相同的素材按按照一定规则（入出点对其、时码对其等）纵向拼接在一起，方便在时间线上同一个游标位置上选取不同的镜头。
（3）虚拟素材：与横向成组素材相区别的地方在于其本质是一个素材，常常在收录的过程中把多个物理文件组合起来。不可再非编中直接组成虚拟素材，但可以由多个素材组成横向成组素材，二者功能并无大异。
（4）四分素材：通常由 4 个物理文件组成，每个文件分别记录了视频信息的左上、右上、左下、右下的信息。
（5）R3D 多段素材：此类素材比较特殊，虽然也是由多个文件组成，但不同于虚拟素材中每一个文件都记录了一个片段的信息，R3D 多段素材整个片段的信息由所有文件组成，不可拆分。
（6）视音频合一：素材中视频与音频信息来自同一个物理文件。
（7）视音频分离：素材中视频与音频信息来自不同物理文件。

时间线上素材段的特性

时间线上编辑的素材段继承了以上描述的资源管理器中素材的基本属性，编辑时并不会对资源管理器中的素材造成影响，就像资源管理器中的素材与实际物理文件操作分离了一样，故时间线中编辑的素材段具有额外的特性。
（1）素材段 GUID：时间线上素材段的唯一标记。
（2）Track in\out：素材段在轨道上的入点和出点。
（3）Trim in\out：素材段引用源素材的入点和出点。
（4）素材段长度：素材段在时间线上的长度，其长度等于 Track out – Track in。不一定等于Trim out – Trim in，因为源素材的帧率可能与源时间线帧率不一致或素材段可能变速。
（5）变速速率：>1：快速，<1：慢速。
（6）素材段类型：视频、音频、图片、key、特技等。
（7）素材段数据类型：来自文件的素材、来自资源管理器的素材、子时间线、容器、字幕、特技等。
（8）素材段引用类型：映射引用源素材中轨道的类型。
（9）素材段制式：同上，但此时素材段制式与时间线制式保持一致。
（10）Flash in\out Mode：闪入（出）或淡入（出）的类型。
（11）Flash in\out：闪入（出）或淡入（出）的长度。
（12）过渡特技：两素材段的 Track out 与 Track in 会出现重叠，重叠的部分即为过渡的区域，分为前过渡与后过渡。
（13）普通特技：
1）连续特技：设置的特技参数对整个素材段都生效。
2）打关键帧：素材段的多个位置打上关键帧，每个关键帧都可单独设置特技参数，关键帧之间按照线性或非线性的方式进行过渡。
（14）打包素材：将时间线上某一个片段内的数据进行渲染打包，生成打包素材，并与时间线片段链接在一块。当时间线播放到对应的片段时，引擎将选择播放打包素材，避免非实时的状况发生。

文件信息

1. 编码方式和封装格式
常见的AVI、MXF、WMV、MP4、FLV等文件是一种封装标准。一个完整的视频文件是由音频和视频两部分组成。H264、Xvid等就是视频编码格式，MP3、AAC等就是音频编码格式。将一个Xvid视频编码文件和一个MP3视频编码文件按AVI封装标准封装以后，就得到一个AVI后缀的视频文件。

由于很多种视频编码文件、音频编码文件都符合AVI封装要求，则意味着即使是AVI后缀，也可能里面的具体编码格式不同。因此出现在一些设备上，同是AVI后缀文件，一些能正常播放，还有一些就无法播放。

因此，视频转换需要设置的本质就是：设置需要的视频编码、设置需要的音频编码、选择需要的容器封装。一个完整的视频转换设置都至少包括了上面3个步骤。

2. 视频编码标准两大系统：MPEG和ITU-T
MPEG标准由MPEG制定：MPEG-1 | MPEG-2 | (MPEG-3) | MPEG-4 | MPEG-7 | MPEG-21

ITU-T标准由VCEG制定：H.261 | (H.262) | H.263 | H.263v2 | H.264

3. 码率与取样率
（1）码率：数据传输时单位时间传送的数据位数,单位是kbps（千位每秒）。
（2）取样率：表示每秒采样的次数，单位是Hz。

单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件，但是文件体积与取样率是成正比的，所以几乎所有的编码格式重视的都是如何用最低的码率达到最少的失真，围绕这个核心衍生出来cbr（固定码率）与vbr（可变码率）， “码率”就是失真度，码率越高越清晰，反之则画面粗糙而多马赛克。

4. 帧率（FPS）
帧率（FPS）：影响画面流畅度。

与画面流畅度成正比：帧率越大，画面越流畅；帧率越小，画面越有跳动感。如果码率为变量，则帧率也会影响体积，帧率越高，每秒钟经过的画面越多，需要的码率也越高，体积也越大。

5. GOP（Group of picture）
关键帧的周期，也就是两个IDR帧之间的距离，一个帧组的最大帧数。一般而言，每一秒视频至少需要使用 1 个关键帧。增加关键帧个数可改善质量，但是同时增加带宽和网络负载。GOP值越长，需要解码的预测帧就越多，seek响应的时间也越长。

6. 常见编码模式
（1）VBR（Variable Bitrate）：动态比特率也就是没有固定的比特率，压缩软件在压缩时根据音频数据即时确定使用什么比特率，这是以质量为前提兼顾文件大小的方式。
（2）ABR（Average Bitrate）平均比特率是VBR的一种插值参数。LAME针对CBR不佳的文件体积比和VBR生成文件大小不定的特点独创了这种编码模式。ABR在指定的文件大小内，以每50帧（30帧约1秒）为一段，低频和不敏感频率使用相对低的流量，高频和大动态表现时使用高流量，可以做为VBR和CBR的一种折衷选择。
（3）CBR（Constant Bitrate）常数比特率指文件从头到尾都是一种位速率。相对于VBR和ABR来讲，它压缩出来的文件体积很大，而且音质相对于VBR和ABR不会有明显的提高。