即时通讯音视频开发（一）：视频编解码之理论概述

前言

即时通讯应用中的实时音视频技术，几乎是IM开发中的最后一道高墙。原因在于：实时音视频技术 = 音视频处理技术 + 网络传输技术 的横向技术应用集合体，而公共互联网不是为了实时通信设计的。有关实时音视频开发时的技术难题请参见《音视频云声网Agora：从demo到实用，中间还差1万个WebRTC》：http://www.52im.net/article-119-1.html

本文主要讲解实时音视频技术中视频技术的编解码基础理论。

系列文章

本文是系列文章中的第11篇，本系列文章的大纲如下：

《即时通讯音视频开发（一）：视频编解码之理论概述》

《即时通讯音视频开发（二）：视频编解码之数字视频介绍》

《即时通讯音视频开发（三）：视频编解码之编码基础》

《即时通讯音视频开发（四）：视频编解码之预测技术介绍》

《即时通讯音视频开发（五）：认识主流视频编码技术H.264》

《即时通讯音视频开发（六）：如何开始音频编解码技术的学习》

《即时通讯音视频开发（七）：音频基础及编码原理入门》

《即时通讯音视频开发（八）：常见的实时语音通讯编码标准》

《即时通讯音视频开发（九）：实时语音通讯的回音及回音消除概述》

《即时通讯音视频开发（十）：实时语音通讯的回音消除技术详解》

《即时通讯音视频开发（十一）：实时语音通讯丢包补偿技术详解》

《即时通讯音视频开发（十二）：多人实时音视频聊天架构探讨》

《即时通讯音视频开发（十三）：实时视频编码H.264的特点与优势》

《即时通讯音视频开发（十四）：实时音视频数据传输协议介绍》

《即时通讯音视频开发（十五）：聊聊P2P与实时音视频的应用情况》

《即时通讯音视频开发（十六）：移动端实时音视频开发的几个建议》

《即时通讯音视频开发（十七）：视频编码H.264、V8的前世今生》

《即时通讯音视频开发（十八）：详解音频编解码的原理、演进和应用选型》

《即时通讯音视频开发（十九）：零基础，史上最通俗视频编码技术入门》

视频为何需要压缩？

1. 未经压缩的数字视频的数据量巨大
2. 存储困难：一张DVD只能存储几秒钟的未压缩数字视频。
3. 传输困难 1兆的带宽传输一秒的数字电视视频需要大约4分钟。

主要压缩了什么东西？

原始视频压缩的目的是去除冗余信息，可以去除的冗余包括：

空间冗余：图像相邻像素之间有较强的相关性
时间冗余：视频序列的相邻图像之间内容相似
编码冗余：不同像素值出现的概率不同
视觉冗余：人的视觉系统对某些细节不敏感
知识冗余：规律性的结构可由先验知识和背景知识得到

数据压缩是怎么分类的？

无损压缩（Lossless）：压缩前、解压缩后图像完全一致X=X’，压缩比低(2:1~3:1)。典型格式例如：Winzip，JPEG-LS。

有损压缩（Lossy）：压缩前解压缩后图像不一致X≠X’，压缩比高(10:1~20:1)，利用人的视觉系统的特性。典型格式例如：MPEG-2，H.264/AVC，AVS。

什么是“编解码器”？

编码器（Encoder）：压缩信号的设备或程序；
解码器（Decoder）：解压缩信号的设备或程序；
编解码器(Codec)：编解码器对。

编解码的技术流程和原理

编解码器的实现

编解码器的实现平台：

超大规模集成电路VLSI
ASIC， FPGA
数字信号处理器DSP
软件

编解码器产品：

机顶盒
数字电视
摄像机
监控器

视频编码的标准

编码标准作用：

兼容：不同厂家生产的编码器压缩的码流能够被不同厂家的解码器解码
高效：标准编解码器可以进行批量生产，节约成本。

主流的视频编码标准：

MPEG-2
MPEG-4 Simple Profile
H.264/AVC
AVS
VC-1

标准化组织：

ITU：International Telecommunications Union
VCEG：Video Coding Experts Group
ISO：International Standards Organization
MPEG：Motion Picture Experts Group

视频传输

视频传输：通过传输系统将压缩的视频码流从编码端传输到解码端
传输系统：互联网，地面无线广播，卫星

视频传输面临的问题

传输系统不可靠：

带宽限制
信号衰减
噪声干扰
传输延迟

视频传输出现的问题：

不能解码出正确的视频
视频播放延迟

视频传输差错控制

差错控制（Error Control）解决视频传输过程中由于数据丢失或延迟导致的问题。

差错控制技术有：

信道编码差错控制技术
编码器差错恢复
解码器差错隐藏

视频传输中QoS质量保证参数

数据包的端到端的延迟
带宽：比特/秒
数据包的流失率
数据包的延迟时间的波动