基于FPGA的数字图像处理【1.3】

1.2.5 图像与视频压缩

        一旦图像处理完毕，根据不同的设计需求，图像处理流水线可能会分为两条不同的分支。首先，经过处理后的图像将会输出到显示器上。其次，图像被存储到本地的存储介质（一般是非易失性闪存卡）之前，先用工业标准的压缩技术（如JPEG）进行压缩处理。
        图像压缩是指以较少的比特有损或无损表示原来的像素矩阵的技术，也称为图像编码。图像数据之所以能被压缩，就是因为数据中存在着冗余。图像数据的冗余主要表现如下：图像中相邻像素间的相关性引起的空间冗余；图像序列中不同帧之间存在相关性引起的时间冗余；不同彩色平面或频谱带的相关性引起的频谱冗余，如图1-18所示。
        数据压缩的目的就是通过去除这些数据冗余来减少表示数据所需的比特数。由于图像数据量的庞大，在存储、传输、处理时非常困难，因此图像数据的压缩就显得非常重要。
1.图像压缩
常见的图像压缩算法有以下几种。

1）JPEG
        JPEG是当今比较流行的图像压缩格式之一。这种格式主要应用于照片，一般不用于简单的线条画和其他的调色板非常有限的图形。JPEG格式的压缩比例为10×～20×，当然，压缩比例越大，失真就越严重。即使在相当高的压缩比例之下，文件已经非常小，而与原始位图（BMP格式文件）相比，JPEG文件仍然保持了相当的视觉质量。JPEG支持无损压缩，无损压缩通常实现的压缩比例为2×。
2）JPEG 2000
        JPEG 2000也称为J2K，是JPEG的延续。它解决了JPEG标准中一些基本限制，同时具备向下兼容的能力。JPEG 2000实现了更好的压缩比，对于二值图像、计算机图形和照片等性能表现都很好。和JPEG类似，JPEG也有有损和无损模式。J2K也支持“感兴趣区域”的压缩，也就是说，图像中选择的区域可以用比其他区域更高的质量进行编码。
3）GIF
        GIF（Graphics Interchange Format）的原意是“图像互换格式”，是CompuServe公司在 1987年开发的图像文件格式。GIF文件的数据，是一种基于LZW算法的连续色调的无损压缩格式。其压缩率一般在50%左右，它不属于任何应用程序。目前几乎所有相关软件都支持它，公共领域有大量的软件在使用GIF图像文件。GIF图像文件的数据是经过压缩的，并且是采用了可变长度等压缩算法。GIF格式的还有一个特点：在一个GIF文件中可以存多幅彩色图像。如果把存于一个文件中的多幅图像数据逐幅读出并显示到屏幕上，就可构成一种最简单的动画。
        GIF格式自1987年由CompuServe公司引入后，因其体积小而成像相对清晰，特别适合于初期慢速的互联网，从而大受欢迎。它采用无损压缩技术，只要图像不多于256色，就可既减少文件的大小又保持成像的质量（当然，现在也存在一些hack技术，在一定的条件下克服256色的限制）。但是，256色的限制大大局限了GIF文件的应用范围，如彩色相机等（当然采用无损压缩技术的彩色相机照片也不适合通过网络传输）。在高彩图片上有着不俗表现的JPG格式却在简单的折线上效果差强人意。因此，GIF格式普遍适用于图表、按钮等只需少量颜色的图像（如黑白照片）。

4）PNG
        PNG也是图像文件存储格式，其设计目的是试图替代GIF和TIFF文件格式，同时增加一些GIF文件格式所不具备的特性。PNG的名称来源于 “ 可 移植 网 络图 形 格 式 （ Portable Network Graphic Format ，PNG）”，也有一个非官方解释“PNG’s Not GIF”，是一种位图文件
（bitmap file）存储格式，读作“ping”。PNG用来存储灰度图像时，灰度图像的深度可多达16位，存储彩色图像时，彩色图像的深度可多达48位，并且还可存储多达16位的α通道数据。PNG使用从LZ77派生的无损数据压缩算法，一般应用于Java程序、网页或S60程序中，原因是它压缩比高，生成的文件体积小。
2.视频压缩
        所谓视频编码方式就是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式。视频流传输中最为重要的编解码标准有国际电联的H.261、H.263、H.264，运动静止图像专家组的M-JPEG和国际标准化组织运动图像专家组的MPEG系列标准。此外，在互联网上被广泛应用的还有Real-Networks的RealVideo、微软公司的WMV及Apple公司的QuickTime等。

1）H.261
        H.261 标 准 由ITU-T （ ITU Telecommunication Standardization
Sector 中 文 ： 国 际 电 信 联 盟 远 程 通 信 标 准 化 组 ） 的 前 身CCITT （ International Consultative Committee onTelecommunications and Telegraph：国际电报电话咨询委员会）下属T VCEG小组（Video Coding Experts Group：视频编码专家组）于1988起开发、ITU-T（VCEG）于1990制定的。H.261主要在老的视频会议和视频电话产品中使用，H.261是第一个使用的数字视频压缩国际标准。H.261标准使用混合编码框架，包括了基于运动补偿帧间预测。它使用了常见的YCbCr颜色空间、4∶2∶0的色度抽样格式、8位的抽样精度、16×16的宏块、分块的运动补偿、按8×8分块进行的离散余弦变换、量化、对量化系数的Zig-zag扫描、run-level符号影射及霍夫曼编码。H.261只支持逐行扫描视频输入。虽然目前已很少使用H.261，但是它是视频编解码领域的鼻祖，之后的所有标准视频编解码器都是基于它设计的。
2）MPEG-1
        MPEG-1 标 准 由 ISO/IEC （ International Organization for
Standards/International Electro-Technical Commission：国际标准 化 组 织 / 国 际 电 工 委 员 会 ） 下 属 MPEG 小 组 （ moving picturesexperts group：动态图像专家组）制定的第一个视频和音频有损压缩标准。MPEG-1（Part2）视频压缩算法，ISO/IEC（MPEG）于1990年定义完成MPEG-1视频编码标准。1992年底，MPEG-1（Part2）正式被定为国际标准。其原来的主要目标是在音频CD（Compact Disc）光盘上记录 图 像 ， MPEG-1 （ Part2 ） 视 频 压 缩 标 准 是 VCD （ Video CompactDisc）光盘的技术核心。有些在线视频也使用MPEG-1（Part2）这种格式。MPEG-1（Part2）编解码器的质量大致上和原有的VHS录像带相当，VCD应用约定MPEG-1（Part2）的分辨率352×240，数字视频信号编码使用固定的比特率（1.15Mbps）。虽然只要输入视频源的质量足够好，编码的码率足够高，MPEG-1（Part2）可获得更大的画幅尺寸、更高的运动视觉感知质量，但是考虑到要让所有商业化的VCD播放机有一个统一的技术标准及硬件处理能力的限制，规定高于1.15Mb/s的视频码率或者高于352×288的视频分辨率都不被单体的VCD播放机（包括一些DVD播放机）使用。这样使得VCD在播放快速动作的视频时，由于数据量不足，令压缩时宏区块无法全面调整，视频画面出现模糊的方块。MPEG-1（Part2）视频压缩算法具体应用在VCD时对运动视觉感知效果欠佳，这也许是VCD在发达国家未获成功的原因。而MPEG-1 Layer3则是目前广泛使用的MP3音频压缩技术。如果考虑通用性，那么MPEG-1的视频/音频编解码器可以说是通用性最高的编解码器，几乎世界上所有的计算机都可以播放MPEG-1格式的文件。几乎所有的DVD机也支持VCD的播放。从技术上来讲，比起H.261标准，MPEG-1增加了对半像素运动补偿和双向运动预测帧。和H.261一样，MPEG-1只支持逐行扫描的视频输入。

3）H.262
        H.262视频压缩标准，是ITU-T（VCEG）于1994年升级H.261后制定的视频压缩标准，它与ISO/IEC（MPEG）制定的视频压缩标准MPEG2（ISO/IEC13818-2）在内容上相同，在DVD、SVCD和大多数数字视频广播系统和有线分布系统（Cable Distribution Systems）中使用。当在标准DVD上使用时，它支持较高的图像质量和宽屏；当在SVCD 使用 时 ， 它 的 质 量 不 如 DVD ， 但 是 比 VCD 高 出 许 多 。 MPEG-2（ ISO/IEC13818-2 ） 也 被 使 用 在 新 一 代 DVD 标 准 、 HD-DVD 和 Bluray （ 蓝 光 光 盘 ） 上 。 从 技 术 上 来 讲 ， 比 起 MPEG-1 ， MPEG-2（ISO/IEC13818-2）最大的改进在于增加了对隔行扫描视频的支持。MPEG-2（ISO/IEC13818-2）虽然是一个相当老的视频编码，但是它具有很大的普及度和市场接受度。ISO/IEC（MPEG）原先打算开发MPEG-1、MPEG-2、MPEG-3和MPEG-4这四个版本，以适用于不同带宽和数字影像质量的要求。继MPEG-2之后打算开发的MPEG-3编码和压缩标准最初是为HDTV开发的编码和压缩标准，但由于MPEG-2已能适用于HDTV，使得原打算为HDTV设计的 MPEG-3，还没出世就被抛弃了。
4）H.263
        H.263视频压缩标准，制定于1995年，主要用在视频会议、视频电话和网络视频上。在对逐行扫描的视频源进行压缩的方面，H.263比它之前的视频编码标准在性能上有了较大的提升。尤其是在低码率端，它可以在保证一定质量的前提下大大地节约码率，对网络传输具有更好 的 支 持 功 能 。 与 之 前 的 视 频 编 码 国 际 标 准 （ H.261 ， MPEG-1 和H.262/MPEG-2）比较H.263的性能有了革命性的提高。1998年增加了新的功能的第二版H.263+（或者称为H.263v2），与初始版比较，显著地提高了编码效率，并提供了其他的一些能力。在2000年又完成了第三版H.263++，即H.263v3 它是在H.263+的基础上增加了更多的新的功能。

5）MPEG-4
        MPEG-4（ISO/IEC 14496-2）于1999年初正式成为国际标准。有时候也被称为“ASP”。它们可以使用在网络传输、广播和媒体存储上。比起MPEG-2第一版的H.263，它的压缩性能有所提高。MPEG4 MPEG-4（ISO/IEC 14496-2）它是一个适用于低传输速率应用的方案。和之前的视频编码标准的主要不同点在于，MPEG-4（ISO/IEC 14496-2）更加注重多媒体系统的交互性和灵活性。MPEG-4（ISO/IEC 14496-2）是第一个含有交互性的动态图像标准，它的另一个特点是其综合性。从根本上说，MPEG-4 （ISO/IEC 14496-2）可以将自然物体与人造物体在运动视觉感知上相融合。MPEG-4 （ISO/IEC 14496-2）的设计目标还有更广的适应性和更灵活的可扩展性，它引入了H.263的技术和1/4像素的运动补偿技术。和MPEG-2一样，它同时支持逐行扫描和隔行扫描。
6）H.264
        H.264视频压缩标准和MPEG-4（ISO/IEC 14496-10）是相同的标准，MPEG-4 （ISO/IEC 14496-10）有时候也被称为MPEG-4 AVC，简称“AVC” 或 “JVT” 。 H.264/MPEG-4 AVC 制 定 于 2003 年 ， 是ISO/IEC（MPEG）和ITU-T（VCEG）合作完成的性能优异的视频编码标准，并且已经得到了非常广泛的应用。该标准引入了一系列新的能够大大提高压缩性能的技术，并能够同时在高码率端和低码率端大大超越以前的诸标准。已经使用H.264技术的产品包括例如索尼公司的PSP ， Nero 公 司 的 Nero Digital 产 品 套 装 ， 苹 果 公 司 的 Mac OS Xv10.4，以及新一代DVD标准HD-DVD和蓝光光盘（Blu-ray）等。在通信、计算机、广播电视等不同领域MPEG-4|/H264、AVC是目前的主流视频压缩标准。而MPEG-4|/H264、AVC出台的新专利许可政策被认为过于苛刻导致产业化推广遭遇困难。促使相关企业和部门竞相研发自己独立的视频压缩标准。又由于 MPEG-4|/H264、AVC 是一个公开的平台，各公司、机构均可以根据MPEG-4|/H264、AVC标准开发不同的制式，从而促使了众多视频编码标准的产生，以往市面上出现了很多基于MPEG-4（ISO/IEC 14496-2）技术的视频格式，例如WMV 9、Quick Time、DivX、Xvid、3ivx等。以后缀*.avi，*.mp4，*.ogm 或者 *.mkv结尾的文件有一部分也是使用MPEG-4（ISO/IEC 14496-2）视频编解码器。

7）H.265
        HEVC也非正式地称为H.265，H.NGVC和MPEG-H（Part2），是一种视频压缩标准草案。HEVC标准是在H.264标准的基础上发展起来的，目前 正 在 通 过 ISO/IEC （ MPEG ） 和 ITU-T （ VCEG ） 联 合 开 发 。 并 且ISO/IEC （MPEG ）和 ITU-T （ VCEG） 成 立 了 一个 联 合 协 作 团 队 JCTVC（Joint Collaborative Team on Video Coding：视频编码联合协作团队）共同开发HEVC标准。2012年6月MPEG LA宣布开始发放HEVC专利许可。2012年7月HEVC提交了国际标准草案，2013年1月HEVC最终草案有望被批准为新一代的国际标准。为便于高分辨率视频的压缩。HEVC将宏块的大小从由H.264的16×16扩展到了64×64，并采用灵活的块结构RQT（Residual Quad-tree Transform）及采样点自适应偏移（Sample Adaptive Offset）方式提升性能，虽然增加了算法难度，但是减少了失真，提高压缩率，减少码流。HEVC比H.264增加一倍的数据压缩比且具有更高的视频质量，HEVC最高可以支持7680×4320分辨率。HEVC是当今及今后一段时期最高视频压缩标准，是超高清电视发展的基础。
        两 大 制 定 视 频 编 码 标 准 的 国 际 组 织 ITU-T （ VCEG ） 与ISO/IEC（MPEG）在不同时期制定的相关视频压缩标准技术的国际标准。ITU-T（VCEG）的标准包括H.261，H.263，H.264，主要应用于实时视频通信领域；MPEG系列标准是由ISO/IEC（MPEG）制定的，主要应
用于视频存储（DVD）、广播电视、因特网或无线网上的流媒体等（注：MPEG-1，MPEG-，MPEG-4等系列标准是MPEG组织制定的一个大纲目，在每一纲目名称下又包含了多个相关领域的技术标准。因此，当我 们 讨 论 视 频 压 缩 标 准 时 要 具 体 到 后 面 括 号 内 的 内 容 ） 。 ITUT（VCEG）与ISO/IEC（MPEG）个组织也共同制定了一些标准，H.262标准等同于MPEG-2（ISO/IEC 14496-2）的视频编码标准，而H.264标准则被纳入MPEG-4（ISO/IEC 14496-10）。