图像的色彩模型
色彩模型也叫做颜色空间,在多媒体系统中常涉及到用不同的色彩模型表示图像的颜色,如计算机显示时用RGB色彩模型,在彩色全电视数字化系统中使用YUV色彩模型,彩色印刷时采用CMYK色彩模型等。不同的色彩模型对应不同的应用场合,在图像生成、存储、处理及显示时,可能需要做不同的色彩模型处理和转换。
图像的基本属性
1,分辨率,分为显示分辨率和图像分辨率
2,像素深度:指每个像素所用的位数(bit),决定了彩色图像的每个像素可能有的颜色数,或者确定灰度图像的每个像素可能优的灰度级数
3,对于视频编码应用,在编码压缩和传输之前,首先需要将视频图像转换为中间格式CIF,通用的中间格式对应一组通用的帧分辨率
4,图像质量的评定,有主观评定法和客观评定法(PSNR),客观评定法时峰值信噪比,因为在经过编码压缩之后,输出的图像都会有某种程度的失真,为了衡量经过编码处理后的图像品质,通常采用PSNR值来认定某个算法程序够不够令人满意,单位是dB
5,数据压缩方法:数据能够进行压缩,是因为数据中存在或多或少的冗余信息,而对于视频和音频等多媒体信息,更可以利用人类自身的感知冗余特点来实现更高的压缩比例,衡量压缩算法的三个主要性能指标有三:压缩比,压缩质量(失真),压缩与解压缩效率;根据解码后数据与原始数据是否完全一直,数据压缩方法分为可逆编码和不可逆编码
5.1 根据数据压缩方法的原理不同,有不同的压缩方法P50
静态图像压缩技术
静态图像编码是指对单幅图像的编码,最常见的编码方式是JPEG算法,这是一个适用范围很广的静态图像压缩技术,既可用在灰度图像又可用在彩色图像,与色彩空间无关,处理的彩色图像是单独的彩色分量图像,因为可以压缩来自不同色彩空间的数据。有两种基本的压缩方法:① 以离散余弦变换DCT为基础的有损压缩,②以预测技术为基础的无损压缩
色相变换过程
色相变换(色彩空间变换)的目的是因为人类眼睛对亮度的敏感度比对色度更高,因此在进行取样的过程中,会完全保留亮度信息,而色度数据则视取样方式而定;色相转换时一种无失真的转换过程
区块切割与采样
1,区块切割:JPEG算法时在8×8像素(称为块)上操作,块时离散余弦变换操作的基本单位,告诉信号处理器对这个尺寸大小的数据块有最高的处理性能。因为在每个图像缓冲区中,数据从左到右从上到小分成不重叠的8×8的像素块,最后不是8的根据需要重复最后一行or最后一列
2,图像采样 P56
3,离散余弦DCT变换,8×8像素DCT把空间域表示的图像变换成频率域表示的图像
4,量化过程,为达到压缩的目的,需要对经过上一步得到的频率域系数进行量化,其目的时减小非0系数的幅度,增加0值系数的数目,在一定的主观抱枕的前提下,丢掉那些对视觉效果影响不大的信息,因此量化过程时不可逆的有损压缩过程,也是图像质量下降的最主要原因。
5,Z字形编码过程,量化后的二维系数需要重新编排,并转换为一维系数,为了增加连续的‘0’系数的个数,即‘0’的游程长度,采用Z字形编码方法(why?P59
6,DC系数编码,AC系数编码(占
7,熵编码(占
8,JPEG数据流:JPEG最后一步时将各种标记代码和编码后的图像数据组成一帧一帧的数据,这样左的目的时为了便于传输、存储和解码器进行解码,这样组织的数据通常称为JPEG位数据流
JPEG解压缩过程
AC和DC值的还原、量化值的还原、离散余弦反转换、反取样、色相反转换过程
视频(动态图像)编码压缩
视频压缩的主要方法时对时间域冗余和空间域冗余进行压缩。在时间域冗余中,主要体现在相邻视频帧之间的相关性,而空间与冗余,主要体现在同一视频中,相邻区域多像素之间的相关性。
- 图像格式CIF相关P63-65
- 逐行扫描和隔行扫描
- 帧率、码流与分辨率:帧率时每秒显示图像的数量、分辨率表示每幅图像的尺寸即像素数量、码流是数据流量。///一帧就是一副静止的画面,连续的帧序列就形成动画,帧率是一秒内传输、显示的图片的帧数,设置帧率表示想要的视频实时性、连续性///码流是指视频数据在单位时间内的数据流量大小。也叫码率,是视频编码画面质量控制中最重要的部分,同样分辨率及帧率下,视频数据的码流越大,压缩比就越小,画面质量也就越高,但码流的设置取决于网络、存储及视频场景的具体情况分辨率从是指图像的大小或尺寸
- 视频编码器的作用是将原始图像编码压缩成视频流,解码器的作用相反,将视频流还原成图像,通常编码器采用某种模型来描述一个视频流,使得压缩的视频流尽可能占用较少的码流,却提供尽可能号的图像质量,有时域模型、空域模型、熵编码器(都先占)P68
- 在时域模型中,当前帧与参考帧之间相减得到残差图像,预测帧越准确(运动估计做得好),那么得到的残差图像的能量就越小,残差图像经过编码后传输到解码器,解码器通过重建帧与残差图像相加来恢复当前图像帧,并得到下帧图像的预测帧
- 运动补偿技术介绍:在帧间编码过程中,需要消除相邻帧之间的时域信息冗余,即仅仅传输相邻帧之间对应宏块的差值(残值),此插值不是前后两帧对应像素的直接相减插值,而是需要在前帧(参考帧)内,对应于后帧的宏块位置的附近区域内,搜索找到一个最匹配的宏块,并得到宏块在水平及垂直方向上的位移,然后传送这两个宏块之间的差值及运动矢量。将存储器中前一图像帧(N-1帧)的重建图像中相应的块按编码器端求得的运动矢量进行相应的位移,得到第N帧图像的预测图象的过程就是运动补偿过程。
- **运动估计:**搜索最佳匹配块的过程,或者说是寻找最优的运动向量的过程。在视频压缩过程中,只需要保存运动矢量和残差数据就可以完全恢复出当前的块 √P69
- 运动补偿: 是一种描述相邻帧差别的方法,具体来说是描述前一帧图像的每个块怎样移动到当前帧的某个位置去,这种方法经常被视频编码器用来减少视频序列中的时域冗余信息
- **运动补偿的实现:**P70
MPEG——主流的视频编码技术
占坑,有需要再……