视频知识整理

1 视频播放器原理

视频播放器播放一个互联网上的视频文件，需要经过以下几个步骤：

解协议：将流媒体协议的数据，解析为标准的相应的封装格式数据

解封装：将封装格式的数据，分离成为音频流压缩编码数据和视频流压缩编码数据

解码：将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据

音视频同步：根据解封装模块处理过程中获取到的参数信息，同步解码出来的视频和音频数据，并将视频音频数据送至系统的显卡和声卡播放出来。

如果播放本地文件则不需要解协议，为以下几个步骤：解封装，解码视音频，视音频同步。他们的过程如图所示。

视频格式：有机组合视频数据、多音轨和多字幕为一个文件。

区分封装格式和编码格式，主要目的是保证一定清晰度的前提下缩小存储空间。

2 下载与流媒体区别

当视频流式传输以在用户设备上播放时，实际文件不会下载到设备或硬盘驱动器上。而是，视频数据包一次传输几个，因此视频会分部分加载，而不是一次性加载。

任何形式的媒体消费，只要内容以小块数据包的形式传输给最终用户，而不是首先完全下载，都可以被视为构成流媒体。

流媒体允许用户连续观看此类内容并享受无缝的观看体验。与首先下载整个媒体文件不同，内容以数据包的形式一次传输几秒钟，然后存储在用户的设备上以供远程播放。

当视频下载到用户的设备上时，将复制整个文件。只有下载完整个文件后，视频才能开始播放。

3 主流封装格式特点 

格式	特点	特殊说明
MKV	不是一种压缩格式 能在一个文件中容纳无限数量的视频、音频、图片或字幕轨道
MOV	保持较小文件大小情况下，能提供高质量的视频压缩 支持无损压缩，即可以保存原始视频数据，保证最高的视觉质量 文件大、兼容性差，可编辑效果好 支持多音轨，支持字幕、章节标记、元数据等功能，丰富了视频的交互性和信息展示	苹果拍摄
MP4	国际通用格式 压缩比高，能保证图像质量情况下文件小 兼容性强，在PR里用MP4格式进行剪辑比较稳定
WMV	压缩比很高，文件小，视频质量良好 支持流媒体技术，可在线播放，流畅度好 播放使用的软件较少，播放时需要占用较大的CPU	微软专有格式，需要许可
AVI	视频清晰，文件大， 允许音视频同步回放。 播放一般需要插件，若插件不匹配，只能播放图像，却没声音。	大多是相机拍摄，时间较短
FLV	文件极小、加载速度极快
ts	主要用于直播的码流结构，具有很好的容错能力（.ts、.mpg或.mpeg） 主要特性包括多路复用、错误恢复和时间戳等 体积稍大（存储和带宽），（对mp4大一点）         多路复用使其能同时传输多路音视频流         强大的错误检测和纠正机制保障数据传输的稳定性         时间戳则有助于实现内容的同步播放 从视频流的任一片段开始都可以独立解码（某些格式前面一段cut掉整个文件无法解码） TS流中不包含快速seek的机制，只能通过协议层实现seek。HLS协议基于TS流实现的。

除了AVI之外，其他封装格式都支持流媒体，即可以“边下边播”。有些格式更“万能”一些，支持的视音频编码标准多一些，比如MKV，支持多音轨。而有些格式则支持的相对比较少，比如说RMVB。

主要特点区分：流传输、体积、兼容性、高清晰。

参考：[总结]视音频编解码技术零基础学习方法_雷霄骅博士的博客学编解码-CSDN博客