五、多媒体系统简介 -------川川

概述

1. 分类：

根据国际电话电报咨询委员会的定义，媒体可分为如下几类：

• 感觉媒体 ：直接作用于人的感觉器官，使人产生直接反应的媒体。
• 表示媒体 ：指传输感觉媒体的中介媒体，即用于数据交换的编码。
• 表现媒体 ：指进行信息输入和输出的媒体。
• 交换媒体 ：指用来在系统之间进行数据交换的媒体，包括存储媒体和传输媒体。

2.定义：

多媒体技术是指利用计算机技术把文本、图形、图像、声音、动画和电视等多种多媒体综合起来，使多种信息建立逻辑连接，并能对它们进行获取、压缩、加工处理、存储，集成为一个具有交互性的系统。
为了加快多媒体信息处理的速度，可以为通过CPU增加特殊的多媒体处理指令，例如一些Intel处理器的MMX扩展指令，也可设计专用的协处理器比如GPU来处理多媒体信息。

数字声音

1.定义：

• 声音是通过空气传播的一种连续的波，称为声波。
• 音频信号是指人耳能听到的频率范围内的信号，即20Hz~20kHz。
• 如果一个物体振动所发出的声音具有清晰可辨的音高，这个显著的频率称为基音频率，其他频率称为泛音。

2.声音信号的数字化：

定义： 声音信号是一种模拟信号，在计算机中必须 将它转换成数字声音信号，即用二进制数字的编码形式来表示声音。
过程：
1. 采样：把时间连续的模拟信号在时间轴上离散化的过程。在某些特定的时刻获取声音信号幅值。
2. 量化：把在幅度上连续取值 (模拟量) 的每一个样本转换为离散值 (数字量) 表示，即对样本的幅度值进行A/D转换。
3. 编码：必须按照一定的格式要求进行数据编码，再按照某种规定的格式 将数据组织成文件。

3.声音的表示：

表示方法：

• 波形声音信息： 通过对实际声音的波形信号进行数字化而获得，它能真实的表现现实世界中任何客观存在的声音。
• 非波形描述的声音信息： 使用符号(参数)、脚本及模型等对声音进行描述，然后通过计算机合成的方法重构出所需要的声音信号。

多媒体系统中对数字声音的处理： 声音的获取、重建和播放，数字声音的编辑处理，数字声音的存储与检索，数字声音的传输，数字语音与文本的相互转换等。
未经压缩的数字音频数据传输率： 数据传输率(bps)=采样频率(Hz)×量化位数(bit)×声道数
波形声音经过数字化后所需占用的存储空间：声音信号数据量(Byte)=数据传输率(bps)×持续时间(s)/8

4.MIDI：

定义： MIDI是指乐器数字接口国际标准。规定了电子乐器与计算机之间、电子乐器之间硬件互联及数据通信协议的完整规范。
用途： 带有MIDI接口以及专用的MIDI电缆计算机、合成器和其他MIDI设备连接在一起，即可构成计算机音乐系统。

5.声音文件格式：

• Wave文件(.wav)
• Sound文件(.snd)
• AIFF文件(.aif)
• Voice文件(.voc)
• MPEG-1 Audio Layer 3文件(.mp3)
• RealAudio文件(.ra)
• MIDI文件(.mid/.rmi)

图形与图像

1.图形(矢量图)：

定义： 用矢量图表示的图形是用一系列计算机指令来描述和记录的一幅图的内容，即通过指令描述构成一幅图的所有直线 、曲线、弧、圆弧、矩形等图元的位置、维数和形状，也可以用更为复杂的形式表示图像中的曲面、光照、材质等效果。
矢量图法： 矢量图法实质上是用数学的方式(算法和特征)来描述一幅图，在处理图形时根据图元对应的数学表达式进行编辑和处理。
矢量图形主要用于表示线框型的图画、工程制图和美术字等。

2.图像：

定义： 图像是指用像素点来描述的图。一般是用摄像机或扫描仪等输入设备步捕捉实际场景画面，离散化为空间、亮度、颜色(灰度)的序列值，即把一幅彩色图或灰度分为许许多多的像素点，每个像素用若干二进制来指定该像素的颜色、亮度和属性。
屏幕上一个点也称为一个像素，显示一幅图像时，屏幕上的像素与图像中的点相对应。
用途： 适合于表现比较细腻，层次较多，色彩较丰富，包含大量细节的图，并可直接、快速的在屏幕上显示出来。通常图像占用的存储空间较大，一般需要进行数据压缩。
属性： 分辨率、像素深度、真/伪彩色、图像的表示法、种类等。

3.颜色的基本概念：

定义： 颜色是创建图像的基础，在计算机上使用颜色需要一套特定的记录和处理颜色的技术。
颜色三要素：

• 色调： 指颜色的类别，如红色、绿色、蓝色等不同颜色，大致对应光谱分布中的主波长。
• 饱和度： 指某一颜色的深浅程度(或浓度)。对于同一色调的颜色，饱和度越高，则颜色越浓。
• 亮度： 是描述光作用于人眼时引起的明暗程度感觉。

三原色原理： 从理论上讲，自然界常见的各种颜色光，都可由红、绿、蓝三种颜色光按不同比例混合来等效表示。同样，绝大多数光也可以分解成红、绿、黄三种颜色光。

凡是两种色光混合而成白光，则这两种色光互为补色。

颜色模型： 用来精确标定和生成各种颜色的一套规则和定义。

• RGB颜色模型： 也叫加色模型，一般用于彩色显示设备
• CMY颜色模型： 此模型使用了青色、品红色、和黄色颜料，可用这三种颜色的油墨或颜料按不同比例混合来表现不同颜色。
• YUV彩色模型： 在处理彩色视频信号时，为兼容黑白电视信号，且可利用人的视觉特性 以降低信号带宽，通常把RGB空间表示 的彩色图像变换到亮度和色度分离的颜色空间。

4.分辨率和像素深度：

显示分辨率和图像分辨率：

• 显示分辨率： 指显示屏上能够显示出的像素数目。
• 图像分辨率： 指组成一幅图像的像素密度，也是用水平和垂直的像素表示，即用每英寸多少点(dpi)表示数字化图像的大小。组成改图图像像素数目越多，则说明图像分辨率越高。
• 像素深度： 图像深度是指存储每个像素所用的二进制数，也是用来度量图像的色彩分辨率的。像素深度确定彩色图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数。它决定了彩色图像中可出现的最多颜色数，或灰度图像中的最大灰度等级。

5.真彩色和伪彩色：

真彩色(True Color)： 指组成一幅彩色图像的每个像素值中，有R、G、B三个基色分量，每个基色分量直接决定显示设备的基色强度，这样产生的彩色称为真彩色。
伪彩色： 图像中每个像素的颜色不是由3个基色分量的数值直接表达，而是把像素值作为地址索引在彩色查找表中查到这个像素的实际R、G、B分量，将颜色的这种颜色表达方式称为伪彩色。

6.图像的获取：

直接利用数字图像库的图像；可以利用绘图软件创建图像；可以利用数字转换设备采集图像。
数字转换设备获取图像的过程：

• 采样： 在x、y坐标上对图像进行采样(扫描)，类似于声音信号在时间轴上的采样要确定采样频率一样，在图像信号坐标轴上的采样也要确定一个采样间隔，这个间隔即为图像分辨率。
• 量化： 将扫描得到的离散的像素点对应的连续色彩值进行A/D转换(量化)，量化的等级参数即为图像深度。
• 编码： 把离散的像素矩阵按一定方式编成二进制码组。最后把得到的图像数据按某种图像格式记录在图像文件中。

7.图形图像的转换：

通过硬件（输入/输出设备） 或软件实现图形和图像之间的转换。
将图像转化为图形的过程必然会丢失许多细节，所以通常适用于工程绘图领域。
实际上许多转换是不可逆的，转换的次数越多，丢失的信息就越多。

8.图像的压缩编码标准：

图像的数据量：

• 图像的分辨率越高，图像深度越深，则数字化后的图像效果越逼真，图像数据量越大。
• 图像数据量=图像总像素×图像深度/8(B)
• 图像的总像素=图像的水平方向像素×垂直方向像素
• 采用压缩编码技术，减少图像的数据量，是提高网络传输速度的重要手段。

数据压缩分类：

• 无损压缩：指压缩前和解压缩后的数据完全一致。可直接用于静态数据压缩，重构的图像无任何失真，但压缩效果不理想，压缩效率低。
• 有损压缩：意味着解压缩后的数据与压缩前的数据不完全相同，在压缩的过程中有不可恢复的信息丢失，但对于多媒体信息允许在可接受的感知失真度之下损失部分信息以获取极高的压缩率。有损压缩广泛应用于多媒体信息的压缩编码中。

有损压缩和无损压缩并不排斥，通常会联合使用以获取更好的压缩效果。

JPEG标准： 目前使用最广泛的压缩编码标准。

8.图像文件格式：

• BMP文件 (.bmp)
• GIF文件(.gif)
• TIFF文件(.tif)
• PCX文件(.pcx)
• PNG文件
• JPEG文件(.jpg)
• WMF文件(.wmf)

动画和视频

1.定义：

动画是将静态的图像、图形及图画等按一定时间顺序显示形成连续的动态画面。计算机动画是采用连续播放静止图像的方法产生景物运动的效果，即使用计算机产生图形、图像运动的技术。

2.实时动画和矢量动画：

实时动画： 采用各种算法来实现运动物体的运动控制。计算机对输入的数据进行快速处理，并在人眼察觉不到的时间内将结果随时显示出来。
矢量动画： 由矢量图衍生出的动画形式，利用数学函数来记录和表示图形线条、颜色、尺寸、坐标等属性。矢量动画是通过计算机的处理，使矢量图产生运动效果形成的动画。

3.二维动画和三维动画：

二维动画： 对传统动画的一个改进，生成的图像可复制、粘贴、翻转、放大缩小、任意移位以及自动计算等。
三维动画：

• 三维动画中景物有正面，也有侧面和反面，调整三维空间的视点，能看到不同的内容。
• 记录一个物体模型的三种形式：线框模型、表面模型、实体模型。
• 对物体着色是产生真实感图形图像的重要过程，它涉及物体的材质、纹理以及照射的光源等方面。
• 三维动画最终要生成一幅幅二维画面，并按一定格式记录下来，这个过程称为动画生成。动画生成后，可在屏幕上播放，也可录制在光盘或录像带上。

4.模拟视频：

**定义：**指由连续的模拟信号组成的视频图像，电视系统传播的信号是模拟信号，电视信号记录的是连续的图像或视像以及伴音信号。

5.数字视频：

定义： 数字视频信息是指活动的、连续的图像序列，一幅图像称为一帧，帧是构成视频信息的基本单元。
视频数字化的目的： 将模拟信号经模数转换和彩色空间变换等过程，转换成计算机可以显示和处理的数字信号。
对模拟视频信息进行数字化方式：

• 先从复合彩色电视图像中分离出彩色分量，然后数字化。
• 先对全彩色电视信号数字化，然后在数字域中进行分离，以获得YUV、YIQ、或RGB分量信号。

广播级质量数字电视编码标准： ITU-R BT.601（原CCIR601）标准，规定了彩色电视图像转换成数字图像所采用的采样频率、采样结构和彩色空间转换等。

4.视频压缩编码：

数字视频信息的数据量很客观，这样大的数据量无论是传输、存储还是处理，对系统都是极大的负担，因此必须对数字视频信息进行压缩编码处理。
视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据量。
压缩方式 ：

• 帧内压缩（空间压缩）：仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，即把单独的图像帧当做一般静态图像应用静态图像压缩算法实现数据压缩。
• 帧间压缩： 视频具有时间上连续的特性，可以利用帧间信息冗余，即视频数据前后两帧具有很大的相关性，或者说前后两帧信息变化很小的特点实现高效的数据压缩。

6.视频文件格式：

• Flic文件(.fli/.flc)
• AVI文件(.avi)
• Quick Time文件(.mov/.qt)
• MPEG文件(.mpeg/.mpg/.dat/.mp4)
• RealVideo文件(.rm/.rmvb)