短视频技术轮廓

目录

1、技术基础

1.1、视频采集

1.2、视频压缩

1.3、视频编码

1.4、视频存储

1.5、视频播放

1.5.1、本地视频播放四个阶段。

1.5.2、在线视频播放四个阶段：

2、核心技术

2.1、GPU

2.2、OpenGL & OpenGL ES

2.3、OpenCV

2.4、DirectX

2.5、CUDA

2.6、OpenCL

2.7、Metal

3、短视频SDK技术

3.1、国内SDK现状

3.2、美摄SDK

4、外延技术

4.1、HTTP

4.2、CDN

4.3、推流拉流

4.4、RTMP

4.5、RTSP

4.6、HLS

4.7、负载均衡

4.8、WebRTC

4.9、OBS

4.10、客户端

5、总结

---

       时光变换，短视频从出现到发展，经历了渐进的过程。与传统视频相比，是文化与社会属性不同，即消费人群、生产成本、生产工具、丰富性、分发关系不同。

 

       技术为短视频发展带来巨大活力。视频本身而言，短视频技术和视频技术是一样的，今天谈一下(短)视频的技术范畴。

 

1、技术基础

       短视频技术首先是视频采集、压缩、编码、存储、播放等。与相关硬件关联，这属于短视频的技术基础。

 

1.1、视频采集

       视频采集是硬件范畴，把模拟视频转换成数字视频，按数字视频文件的格式保存。视频采集是将模拟摄像机、录像机、LD视盘机、电视机输出的视频信号，通过模拟、数字转换设备，转换为二进制数字信息的过程。视频采集中，目前视频采集卡是主要设备。

1.2、视频压缩

       视频采集后获取大量的模拟数据，直接处理和传输是不现实的，必须对数据进行压缩。视频压缩分为硬件级压缩和软件级压缩，压缩标准与编码关联，编码与具体的文件格式照应。

       视频数据存在着空间冗余、时间冗余、结构冗余、知识冗余、视觉冗余，这些冗余为视频压缩提供了前提。下图是一个典型的视频压缩过程。

 

1.3、视频编码

       视频编码是通过压缩技术，将原始视频文件的格式转换成另一种视频文件。目前重要的编解码标准有，国际电联的H.261、H.263、H.264，运动静止图像专家组的M-JPEG，运动图像专家组的MPEG系列，Real-Networks的RealVideo、微软公司的WMV，Apple公司的QuickTime等。

       视频压缩和视频编码是一体的，每一种视频编码对应一种视频压缩算法。香农信息论对视频编码有着广泛的指导意义，以集合论为基础，概率与数理模型描述信源展开。视频编码发展历程以香农信息论为出发点，不断完善和发展。 

       编码方法可分为两代：第一代基于数据统计，去掉数据冗余，低层压缩编码方法；第二代是基于内容，去掉内容冗余。基于对象的方法称为中层压缩编码方法，基于语义的方法称为高层压缩编码方法。

       基于内容压缩编码方法是新一代压缩方法，是最活跃的领域，最早由瑞典的Forchheimer提出的，随后日本的Harashima等人跟进研究。

 

1.4、视频存储

       视频存储与硬件关联不大，一般在操作系统下进行，有完善的编程接口，采用传统的IO技术来进行处理。存储的概念今天也有巨大的发展，从传统的单机存储、服务器存储、再到云存储。近两年有一个热点概念，区块链存储。目前用的最多的是单机存储和云存储。区块链存储是云存储的加强版，对于真正视频数据的区块链存储，未来10年仅仅存在书籍上。

1.5、视频播放

       视频播放分为本地播放和在线播放。本地播放随着计算机的出现发展起来，在线播放随着互联网技术的发展而来。

 

1.5.1、本地视频播放四个阶段。

       A、acess访问，接收、获取、得到

       B、demux解复用，合在一起的音频和视频分离(还有可能的字幕)   

       C、decode解码，音频和视频解码

       D、output输出，音频和视频的输出（aout和vout）

       播放核心单元是多媒体引擎管理，负责音视频数据的加载、处理和展现。以FFmpeg为例，它的基本运作流程如下图所示：