H.264_AVC视频编码技术学习

前言

• 一路学习音视频，了解多媒体系统，其整体架构都离不开这几个结构，视频采集→视频预处理→视频编码与封装→数据的存储/传输→视频解封装/解码→视频后处理→视频输出（以视频信号为例），详细链接；
• 一路学习音视频直播内容，总结了音视频直播流程及常见视频流协议介绍
• 本文参考内容：H.264/AVC视频编解码技术详解、先进视频压缩编码(Advanced Video Coding, H.264/AVC)、 github仓库
  

# 01 视频信息与压缩编码

## 一、 人与世界的交互

• 嗅觉
• 听觉
• 味觉
• 触觉
• 视觉：研究表明，视觉承担了超过70%信息提取的任务
  

视频信息：最高效的信息记录方式

• 经过多年的发展，视频已经成为记录和重现信息最为高效的方式，可以在相对很短的时间内传递大量的信息
• 视频通过其中每一帧的图像表达信息
• 视频包含的音频可提供大量信息。
• 视频通过图像的运动、场景的变换提供信息。
• 综上，视频信息是最接近人的直观体验的信息表示方式

## 二、 视频信号的表示方法

• 组成视频的基本结构是一帧帧连续而关联的图像
• 组成每一帧图像的基本结构是成平面紧密排列的像素；
• 每一个像素由颜色的三基色分别取不同的分量构成
  R:Red-红色分量
  G: Green-绿色分量
  B:Blue-蓝色分量

图像的颜色空间

YUV图像格式

可以说是4：1：1，使用最为广泛

## 三、 视频压缩编码

视频信息巨大的数据量，比较占存储资源

视频信息为什么可以被压缩？

数据量庞大的视频信号中，存在多种冗余

1. 时间冗余：视频相邻的两帧之间内容相似，存在运动关系
2. 空间冗余：视频的某一帧内部的相邻像素存在相似性
3. 编码冗余：视频中不同数据出现的概率不同
4. 视觉冗余：观众的视觉系统对视频中不同的部分敏感度不同

视频编码标准化组织

VCEG，简写出错

主流视频编码标准的发展

视频压缩编码的分类

• 主要使用的是基于波形的编码

## 四、视频压缩编码的基本技术

# 02.主流视频编码标准的技术发展

主流视频编码标准的发展

其它常见的视频编码标准格式

## 一、H.264标准

H.264编码/解码系统结构

H.261信源编码器

H.264复合编码器