零、前言
本系列博客是对H.265/HEVC视频编码进行一个简单的介绍,主要介绍大致的编码框架和流程,不涉及算法和公式的详细推导与证明过程,适用于刚接触视频编码与H.265/HEVC的新手玩家。
我的参考书籍是万帅、杨付正所编著的《新一代高效视频编码 H.265/HEVC:原理、标准与实现》。这本书的电子版存放在我的百度网盘,大家可以自行取用。
链接:https://pan.baidu.com/s/1zhczlcI1wNB3pIR9ehMq4Q
百度网盘-《H.265》电子版
提取码:prbb
本篇博客是该系列博客的首篇博客,主要是对视频编码进行一个概述。
系列博客的链接:
1、H.265/HEVC 简述 第一课(绪论)
2、H.265/HEVC 简述 第二课(数字视频格式)
3、H.265/HEVC 简述 第三课(编码结构)
一、视频技术
在讲视频编码之前,先简单聊一下视频技术的基础知识。视频信号分为模拟与数字,其实最早的视频信号是模拟的,但随着时代的发展,数字视频信号逐渐取代了模拟视频信号,因为与模拟视频信号相比,数字视频信号有着更好的抗干扰、保真性能等。
图像是视频信号的基本单位,视频中完整图像被称为了帧,而由许多帧按照时间顺序组成的视频也被称为视频序列。视频序列中每一幅图像,都是由N * M个像素组成的。
视频序列都可以表示为三维矩阵,其中N * M这两个维度表示每幅图像的像素值,形成视频的空间域,而第三个维度就是时间域。彩色视频需要三个这样的矩阵,分别代表三个基本的色彩分量(RGB),或者一个亮度分量和两个色度分量(YUV)。每秒播放的帧数目叫做帧率,单位是fps。基于视觉暂留机理,视频的帧率需要达到25 — 30fps以上,才能让人眼对视频有平滑连续的感受。单位时间内传输的视频数据位数称为码率,单位是bps。
二、视频编码与压缩
有心理学家用实验证明,人类获取信息的方式中有超过百分之八十来着眼睛,所以视频信息在人类的生活中占据着重要地位。
视频编码技术是视频内容在传输过程中的一个重要环节。视频编码指的是采用预测、变换、量化和熵编码等方式,尽可能减少视频数据中的冗余,使用尽可能少的数据来表征视频。视频编码也称作视频压缩,但它们之间也有些许差别,视频编码更加强调手段和方法,而视频压缩更强调目的。视频压缩是一类特殊的数据压缩,对于一个给定量的信息,设法减少表达这些信息所用的数据量就是数据压缩。
之所以要进行视频编码,就是因为图像信息经过采集过后,得到的原始视频数据量过大,不便于进行传输和存储,所以要对其进行编码压缩。
视频压缩一般分为有损压缩和无损压缩。无损压缩指的是数据经过压缩后,所携带的信息并没有损失,通过重建可以完全恢复原来的数据。受信源熵的限制,其压缩率较低,对于图像来说,压缩率为3:1较为常见。很显然,对于海量数据的视频来说,这点压缩率远远不够,所以需要用到有损压缩。有损压缩以引入一定失真为代价,换取更高的压缩比。对于人眼和人耳来说,丢掉某些视频信息是很难被察觉的,例如视频中的高频信息。而衡量压缩视频算法优劣与两个参数有关,码率与失真。码率越大,视频数据也就越多,压缩性能就较差,但失真小;码率越小,视频数据就越少,压缩性能就很好,但失真多。所以要在这两个参数之间进行平衡抉择,这就是率失真优化,平衡的过程就是对率失真代价进行选择的过程,在之后的学习中我们会经常见到这个词语。
三、视频编码标准
视频编码的国际标准通常代表着同时代最先进的视频编码技术。而本博客所介绍的H.265/HEVC则是上一代的视频编码标准(2020年)。视频编码标准只是规定了编码码流的语法语义和解码器,只要码流符合标准的语法结构,解码器就能进行正常解码。
而码流数据的基本单位是语法元素,它是由若干比特组成,表征了某个特定的物理意义。而语法元素由语法和语义组成,语法规定了各个语法元素的组织结构。而语义阐述了语法元素的具体含义。
四、H.265/HEVC
当前国际上制定视频编码标准有两大组织:国际电信联盟电信标准化部门(ITU-T),与国际标准化组织(ISO)/国际电工委员会(IEC)。他们两的首次合作,形成了H.262/MPEG-2标准,成为了风靡一时的DVD核心技术。而第二次合作则形成了H.264/AVC视频编码标准,涵盖了视频广播、视频存储、交互式视频等视频应用。而H.265/HEVC是他们的第三次合作成果。HEVC是High Efficiency Video Coding的缩写,意为高效率视频编码。H.265/HEVC的设计目的,就是在有限带宽下传输更高质量的网络视频,仅需原先一半带宽即可播放相同质量的视频。对于消费者而言,我们可以享受到更高质量的4K视频、3D蓝光、高清电视节目内容等。
H.265/HEVC的编码框架和H.264/AVC类似,同时也有它自己的改进和一些特色技术。这些内容都会在后面的博客中一一道来。