技术分析：在无线网络上传输音/视频

作者：Rick Tewell，美国富士微电子有限公司

 

 

      早在19世纪50年代，连环画侦探就用Dick Tracy发明的手表直接从自己的手腕上打出电话。他能打通的人数肯定有限，但他的这一举动给所有亲眼目睹的人都留下了深刻印象。 当然，移动电话技术现已无处不在，因此现在的年轻人对Detective Tracy的手表都不以为然。现有的这种类似的技术设备可以让我们将视频流通过无线方式传输到任何一个地方的便携式设备上。这项技术一旦成功，便携式实时视频会议就能成为现实。

 

现在，Dick Tracy的手表发明已经过去50年了，电信基础设施也达到了数十亿美元，我们已经成功地解决了许多音频问题的挑战??但是，对于无线视频技术呢？大部分的技术都到位了??剩下的唯一一个主要问题就是消费需求及一个使企业开发可行解决方案的经济模式。其中最重要的一项技术是MPEG-4视频标准，及它的早期实现。MPEG-4非常适合无线移动视频设备，这一问题下面将会谈到。我们先来了解一些技术背景，让它带我们进入正题。

 

音频流这项技术本身是可取的??例如在音乐播放和电话交谈中。然而，视频??当然它需要伴音??却有所不同。在19世纪20年代，有声技术得到足够发展以后，有声电影就立即取代了无声电影。今天，无声视频在消费者的眼中已经是种用处不大的设备。将声音添加到电影中去的两个关键问题是“音频同步”和“放大”。在视频流的环境中??不论通过无线或有线网络??音频/视频同步这一基本问题仍然在困扰着我们。 我们可以容忍视频出现偶尔出现些小故障，但我们对声音断续和音频不同步等音频差异却极度敏感。人耳可以分辨出仅相差几毫秒的音频差错，因此，视频和音频的精确同步对视频传输的成功是至关重要的。

 

要通过无线方式将视频和音频同时传输，就必须先利用技术将视频和音频同时送入容器中，并要它们在传输之前、之中和之后都合并在一起。尽管我们对音频和视频的编码和解码都谈到了很多、也写到了很多，但对将已编码的音频流和视频流都置于容器当中，以在有线或无线网络上传输的技术却了解不够。本文的目的就是帮助大家进一步了解音频和视频的传输技术。

 

A/V容器格式

 

        那么，什么是A/V容器格式呢？简单地说，A/V容器格式就是容纳音频和视频样本的信息框(见图1)，它的另一个名称叫做“文件格式”。容器格式并不是一种编码或压缩的手段，事实上，许多容器都不具备这种功能。它们只是告诉我们A/V样本们是怎样共存于一个“文件”当中。AVI、MOV、ASF、MPEG-1系统流、MPEG-2节目流、MPEG-2传输流以及MPEG-4系统流都是A/V容器格式。

 

图1：A/V容器格式

 

A/V容器格式的基本概念是：一个容纳将被传输到目的地的音频和视频流的盒子。“目的地”文件包括居于CD-ROM、DVD这样的硬盘驱动器上，或置于局域网或互联网远端的存储设备上。有时候，接收端直到容器打开之后才知道里面装的是什么。所有的容器格式都会附有报头，以告知接收端容器中传输的内容。

 

图2：音频/视频编码器

 

AVI文件

 

      一种早期基于PC技术的A/V容器叫做AVI??音频视频交错(Audio/Video Interleaved)。AVI文件含有AVI文件的报头，还含有音频和视频的样本。AVI文件的报头中含有一个四字符代码(FOURCC)，说明文件内视频流的类型。该FOURCC告诉接收端观看文件需要什么样的视频解码器。 http://www.fourcc.org/codecs.php上有一组可用的四字代码。AVI文件不是为网络上的码流(有线网络或无线网络)而设计的。AVI文件事实上比常用的PC网络更早出现。图3为AVI文件中一个视频流和一个音频流的典型分布图。

 

图3： RIFF AVI数据块。

 

尽管视频流和音频流传输AVI文件，因为音频流和视频流可以交错编码，但是当网络的信息包丢失时，AVI文件不会在音频流和视频流内为的嵌入式时标提供让两者重新达成同步的机制。另外，由于索引常常出现在文件的末尾，因此很多人都等到文件收到??即整个文件都传输完之后再试图启动AVI文件。请注意，如何才能对AVI文件中的音频和视频采用任何一种压缩手段处理呢？

 

由于AVI文件简单灵活， 是最常用最普遍的A/V容器格式之一。例如，从数码相机中捕捉到的A/V就包含在视窗操作系统下的AVI 文件中。DivX这种流行的公共域MPEG-4编解码器就把它本身包含在在视窗操作系统下的AVI 文件中。所以，未来好几十年我们仍然会使用AVI这一文件格式，但是它不能也不会流动。这是可下载容器格式的最好例证。下面我们来看看另一种非常流行的容器格式??MPEG。

 

MPEG容器格式

 

      许多人都认为MPEG不是一种容器格式，而是一项编码或压缩技术。按理说，这种理解是正确的。MPEG不仅指定了视频、音频解码的有效手段，而且指定了视频、音频解码在比特流或容器中的分布情况。MPEG将基本流(音频流和视频流)在容器中的分布称为“系统”。在MPEG中，单一基本流的孤立存在是不“合法”的；只有加进系统信息之后，才会产生有效的MPEG比特流。在MPEG-1中，MPEG中的系统信息或层都是直接传输的；基本流与系统流之间的关系紧密，二者能够组成完整的MPEG流。这种关系在MPEG-2中更加紧密，在MPEG-4中又进一步紧密。

 

那么，MPEG系统流和MPEG层的目的是什么呢?简单地说，就是记录基本流下所发生的情况。流层提供时标、音频同步、封包及其它的一些性能，让基本流的录音重放装置可靠并使视频和音频精确同步。

 

MPEG-1是为一种无错误传输环境如CD-ROM而设计的。MPEG-2增强了在容易出现错误的网络上的传输能力，这就是说，处理这样的环境的MPEG-2系统层的复杂性更高；并且，它与MPEG-1保持后向兼容性。图4为MPEG-2中MPEG系统层的范围。

 

图4：MPEG-2系统。

 

MPEG-1因其子集具备一种称为“约束参数比特流”或CPB的性能而得到广泛应用。这种性能是为在CD-ROM上储存符合红皮书音频标准规定的、相同数量的视频和音频数据而设计的。这意味着在一张74分钟的CD-ROM上，你能存足足74分钟的视频和音频。这个标准被称为白皮书或视频CD(VCD)。在44.1kHz的采样率条件下，视频数据率被定为1.15Mb/s，音频数据率为224 Kb/s；视频大小被锁定为352x240 30fps NTSC和352x280 25fps PAL(也被称为CIF)。

 

这一标准运作良好，但却只有“标准”电视性能的四分之一，并且常在电视公众中引起争议，但当时来说这仍是一项令人惊讶的技术成果。在大约1.5 Mbit/s(125 Kbytes/s)比特率下，现有的电缆调制解调器能轻松地传输MPEG-1 CPB流，但是对于无线蜂窝技术网络来说，要可靠地做好这一点还有很长一段路要走。此外，MPEG-1缺少更正网络传输和重新同步中错误的能力。MPEG-2具有这一功能性，但是，到该技术赶上实际实施的时候，MPEG-4和其它的流格式已经展示在人们面前。

 

MPEG-2具有更高的数据传输率，其范围是6到10 Mbit/s。比特率在6Mbit/s和9Mbit/s之间的MPEG-2(720x480分辨率)是DVD的理想选择，因此也被选来做这项工作；然而，在那个比特率之下，网络传输就要困难的多，但是画面质量能够达到观看电视的标准。MPEG-2还具有封包、容错和校正、快进倒带及其它一些广播所需的功能。那么 MPEG-2是否也适合无线/移动流视频设备呢？网络频道必须以1MB/s的速率传输数据，才能保证MPEG-2视频能可靠传输、可回放和可观看。因此，人们一直在探索最佳的视频流格式。MPEG-4就是答案。

 

为什么答案是MPEG-4？

 

要求: 高压缩率、高视频质量和强大的系统层；MPEG-4能够为无线移动视频设备提供这些理想性能。(注：这里没有涉及到MPEG-3，是从MPEG-2直接上升到MPEG-4；常被误认为是MPEG-3的MP3音频事实上是MPEG-1音频的第三层)。

 

MPEG-4格式在1MBit/s的比特率下能达到MPEG-2 720x480分辨率的质量。如果把该视频降为MPEG-1CPB，就能得到350KBit/s的数据率及合理的可接收视频效果。若进一步缩小比例，就可能得到100KB/s的数据率。当然，由于质量的下降，视频已不值得看了。我们认为352x240的分辨率或通用交换格式(CIF,Common Interchange Format)是能够接受的最小视频清晰度。QCIF很有趣，并且在一些网络频道上是必不可少的。下表1列出了视频清晰度的常用术语。

 

我们暂且不考虑视频清晰度的问题，先来看看是否适合用无线方式传输MPEG-4视频流。要回答这个问题，我们得从两个方面来研究MPEG-4??视频压缩能力和系统层。现有的移动电话使用通用分组无线业务(GPRS)标准的2.5G技术，其网络数据传输率能达到接近112kbps。这一速率并不快，也不算可靠，看你用在哪里。3G的网络数据传输率接近2Mbps，这是一个很大的提高。尽管2.5G w/GPRS能支持一些视频流，但直到3G出现之后，利用移动电话随时随地收看视频流才普及起来。当然，数据管道越宽，视频质量越高。

 

我们现在来仔细地看看一些数据，以将它们列入本文。大多数宽带网数据率都是用每几秒多少比特来表示。由于每个字节有8比特，因此我们把它更简单地表示为每秒钟多少个字节或bps除以8。那么，2.5G w/GPRS就是速度为每秒钟14000字节的通道(14kBps。注：大写B表示字节)。相应地，3G是速率为250kBps的通道。光盘驱动器在1X下的传输数据的速度为150kBps。由于3G的带宽为250kBps，理论上讲，将MPEG-1 CPB视频、音频流直接传输到3G接收端应该没有什么问题。当然，我们也许只用通道的60%来为视频服务，但这已经能得到非常好的视频效果了。既然它的压缩效果比MPEG-1好得多，那么，我们能否利用3G技术得到DVD格式的效果呢。对MPEG-4来说，答案是肯定的。

 

MPEG-1需要数据传输速率达到每秒600kBps(4.8Mbps)的通道，才能达到全D1的视频清晰度。这就显然要求3G那样的带宽预算为。DVD(目前使用MPEG-2视频压缩)常以每秒6Mbps的速度压缩。所以，要想使用3G技术体验视频内容，需要的压缩技术不是MPEG-1 也不是MPEG-2。现在我们仍不清楚第一代3G技术的实施能否使DVD视频体验成为可能；但如果可能的话，那MPEG-4及相关的压缩技术就能给我们一个方向。那么现行的3G技术能使视频性能最终达到什么样的境界呢，我们认为会是CIF。如前所述，30帧数的CIF画面质量已相当清晰，被定为目前的视频基准。那么，如果有传输率为2Mbps的通道，而CPB VCD又适应于这一通道，我们为什么不直接用MPEG-1呢？理由很简单，在同样的比特率下，MPEG-4的压缩效率是它的3倍，而且在某些条件下效率会更高。这就意味着，传输率为300-400 kbps的MPEG-4流与1.2Mbps下的MPEG-1 CPB具有同样的CI画面质量。

 

富士通已将MPEG-4的芯片添加到移动媒体处理器(MMP)的新产品线中。富士通节能型MPEG-4内核能达到每秒2Mbps的比特率，并以每秒30fps的速度为CIF编码或解码(见图5)，这一标准比较适合帧率为15fps的QCIF的视频电话。MPEG-4内核有两个值得注意的特点。一是具有自适应运动移动向量技术的运动估值电路的运算量是传统运动监测系统的1/20。二是它的自动时钟门控只为现有的编码/解码所需要的功能块提供时间。简言之，富士通MPEG-4内核是目前GPRS 2.5G无线电话及视频效果要求更高的、下一代3G电话的理想选择。

 

图5：MPEG系统。

 

MPEG-4系统层

 

    MPEG-4相对于MPEG-1和MPEG-2的一个主要优势就在于它的“系统”层。大致地看看MPEG-4系统能帮我们更好地了解MPEG-4在目前和今后生活中发挥的重要作用。许多人都认为MPEG-4只是一种更好的音频和视频压缩标准。这当然是正确的，但MPEG-4还有很多其他的性能，这些性能会涉及到今后几年的视频广播产业。 除音频、视频压缩之外，MPEG-4还为动漫编码增加了3D环境和图像，提供了码流互动、数字版权管理、多个网络间的内容分发(包括IP和MPEG-2传输流DVB)。数百家公司都参与到MPEG-4标准的研发中来，事实上，MPEG-4包含了20条国际标准组织(ISO)的规格，以及几个行业组织，如3GPP(http://www.3gpp.org)和国际流媒体联合会或ISMA(http://www.isma.tv)的标准。下图6是MPEG-4标准的视图书馆表示。

 

据MPEG-4工作组透露，MPEG-4 “系统”是用来提供“一些必要的设施，以详细说明视听对象是如何排列在MPEG-4终端而形成完成的图像场景、用户端是如何与内容互动以及视频、音频流是如何得到传输或储存的”。

 

同样据工作组透露，“ MPEG-4提供的大部分功能出自系统部分。由于系统负责(在其它问题中)码流管理和场景描绘，因此它的作用就好比源编码技术的‘打包器’”。

 

图6：MPEG-4容器的容量。

 

MPEG-4系统中的一部分是它的文件或 “容器格式”。一条如富士通MPEG-4内核所产生的单一MPEG-4视频基本码流不能孤立存在，它必须被置于“容器”中，以得到MPEG-4解码器的处理和解码。这就是说，在从一移动电话传到另一电话之前，MPEG-4视频必须被放在容器格式(MPEG-4文件)中。这个文件详细说明了MP4容器中的内容以及MP4文件接收端播放视频和音频的方式。没有该框架，接收端就无法辨别接收到的数据。一个合理格式化了的MP4文件对于MPEG-4终端间的互通性来说是非常关键的。有关MPEG-4系统的知识，请详见http://www.chiariglione.org/mpeg/faq/mp4-sys/mp4-sys.htm.

 

富士通的移动媒体处理器(MMP)能产生一种MPEG-4 视频基本流(ES)，也被称为.M4V。这一视频基本流与MPEG-4音频基本流相结合，就构成了一个叫.MP4文件的“可视”视频。那么，这一结合是在什么情况下由什么而产生的呢？ 对富士通MMP而言，答案是MP4富士通软件库。富士通MPEG-4 数字视频编解码器芯片与富士通MP4储存库相结合就能产生MPEG-4符合性文件，这些文件在所有的MPEG-4终端都能互通。但是，没有经过MP4文件压缩的MPEG-4视频基本流，不是能用在所有的MPEG-4符合性终端上播放。

 

如今，市场上有许多使用MPEG-4技术的设备。DIVX是一种流行的互联网视频压缩技术，它将MPEG-4视频基本流压缩在.AVI文件格式中。微软公司MPEG-4视频基本流储存在常见的叫“先进系统格式”或 “ASF” 的容器格式中。下面一些例子说明许多公司都在试图利用MPEG-4提供的先进视频压缩技术，但是却没有在整个MPEG-4标准上达成一致。MPEG-4文件格式的优点是：不论是以移动设备、台式设备还是单单的MPEG-4电视(不考虑制造商或型号)为MPEG-4终端，它都能无缝地互通传输。其它的容器格式，包括微软的Windows Media都不具备MPEG-4的这种互通性。