计算机系统基础知识：多媒体系统简介

多媒体技术是指利用计算机技术把文本、图形、图像、声音、动画和电视等多种媒体综合起来，使多种信息建立逻辑连接，并能对它们进行获取、压缩、加工处理、存储，集成为一个具有交互性的系统。

1. 感觉媒体(Perception Medium）。指直接作用于人的感觉器官，使人产生直接感觉的媒体。如引起听觉反应的声音、引起视觉反应的图像等。
2. 表示媒体(Representation Medium)。指传输感觉媒体的中介媒体，即用于数据交换的编码。如图像编码(JPEG、MPEG)、文本编码(ASCII、GB2312)和声音编码等。
3. 表现媒体(Presentation Medium)。指进行信息输入和输出的媒体。如键盘、鼠标、扫描仪、话筒和摄像机等为输入媒体;显示器、打印机和喇叭等为输出媒体。
4. 交换媒体(Interchange Medium)。指用来在系统之间进行数据交换的媒体，包括存储媒体和传输媒体。存储媒体(Storage Medium)指用于存储表示媒体的物理介质，如硬盘、软盘、磁盘、光盘、ROM 及 RAM 等;传输媒体(Tansmission Medium)指传输表示媒体的物理介质，如电缆、光缆和电磁波等。

1. 数字声音

声音是通过空气传播的一种连续的波，称为声波。声波在时间和幅度上都是连续的模拟信号，声音信号的两个基本参数是幅度和频率。幅度是指声波的振幅，通常用动态范围表示，般以分贝(dB)为单位来计量。频率是指声波每秒钟变化的次数，用Hz表示。
音频信号是指人耳能听得到的频率范围内的信号,即 20Hz~20kHz。人们把频率小于 20Hz的信号称为次声波信号，频率高于 20kHz的信号称为超声波信号。

1.1 声音数字化

声音信号是一种模拟信号，在计算机中必须将它转换成为数字声音信号，即用二进制数字的编码形式来表示声音。声音信号数字化的过程可分成如下3个步骤：采样、量化和编码。
Note:采样频率需要大于声音信号最高频率的两倍。

1.2 声音表示

计算机中的数字声音有两种表示方法:波形声音信息和非波形描述的声音信息。
波形声音信息通过对实际声音的波形信号进行数字化(采样和量化)而获得，它能真实地表示现实世界中任何客观存在的声音。
非波形描述的声音信息使用符号(参数)、脚本及模型等对声音进行描述，然后通过计算机合成的方法重构出所需要的声音信号。

1.3 声音合成

计算机和多媒体系统中的声音，除了数字波形声音之外，还有一类是使用符号参数来表示的，如果要将声音播放出来，则需要由计算机来合成出对应的声音信号，包括语音合成和音乐合成。

1.4 文件格式

1. MIDI
   MIDI(Musical Imnstrument Digital Interface)是指乐器数字接口国际标准。MIDI标准规定了电子乐器与计算机之间、电子乐器之间硬件互联及数据通信协议的完整规范。
   MIDI文件是计算机中用于存储和交换 MIDI消息的一种数据文件,包含了乐曲演奏过程的完整信息。标准 MIDI 文件格式采用的文件扩展名为.mid，它是音序软件的文件交换标准，也是商业电子音乐作品发行的标准。
2. Wave 文件(.wav)Windows 系统中使用的标准音频文件格式，它来源于对声音波形的采样，即波形文件。利用该格式记录的声音文件能够和原声基本一致，质量非常高，但文件数据量大。
3. Sound 文件(.snd)。NeXT Computer 公司推出的数字声音文件格式，支持压缩。
4. Audio 文件(.au)。Sum Microsystems 公司推出的广泛应用于 UNIX 系统中的数字声音文件格式。
5. AIFF 文件(.aif)。 Apple 公司 Mac Os 中的标准音频文件格式。
6. Voice 文件(.voc)。Creative 公司波形音频文件格式，也是声霸卡(Sound Blaster)使用的音频文件格式。每个 VOC 文件由文件头块(Header Block)和音频数据块(Data Block)组成。文件头包含一个标识版本号和一个指向数据块起始的指针。数据块分成各种类型的子块。
7. MPEG-1AudioLayer3 文件(.mp3)。现在最流行的声音文件格式，压缩率大，能够使用极低码率提供接近 CD 音质的声音重放效果。
8. RealAudio 文件(ra)。这种格式具有强大的压缩量和极小的失真，它也是为了解决网络传输带宽不足而设计的，因此主要目标是压缩比和容错性，其次才是音质。

2. 图形和图像

1. 图形Graphic：叫做矢量的数学对象锁定义的直线和曲线等组成；
2. 图像Image：栅格图像，点阵图像或位图图像，是用像素来代表图像，每个像素都被分配一个特定的位置和颜色值。

2.1 颜色概念

颜色是通过光被人们感知的，不同的物体受光线照射后，一部分光线被吸收，其余的被反射，被人的眼睛所接收并被大脑感知，成为人们所见的物体的彩色表达。为了能确切地表示某颜色光的度量，可以用色调、饱和度和亮度3个物理量来描述，并称为颜色三要素。

1. 色调：色调是指颜色的类别，如红色、绿色和蓝色等不同颜色，大致对应光谱分布中的主波长。某一物体的色调取决于它本身辐射的光谱成分或在光的照射下所反射的光谱成分对人眼刺激的视觉反应。
2. 饱和度：指某一颜色的深浅程度（或浓度）。
3. 亮度：描述光作用于人眼时引起的明暗程度感觉。

• 三基色原理：红绿蓝
• 颜色模型
  颜色模型是用来精确标定和生成各种颜色的一套规则和定义。某种颜色模型所能标定的所有颜色就构成了一个颜色空间。颜色空间通常用三维模型表示，空间中的颜色通常使用代表 3个参数的三维坐标来指定。颜色模型和空间用来表示、存储、显示及打印彩色图像，不同的彩色模型对应不同的应用场合，各有其特点。
  1. RGB颜色模型
  2. CMY颜色模型
     CMY 模型使用了青色(Cyan)、品红色(Magenta)和黄色(Yellow)颜料，可以用这3种颜色的油墨或颜料按不同比例混合来表现不同的颜色。理论上，青色(Cyan)、洋红(Magenta)和黄色(Yellow)色素能合成吸收所有颜色并产生黑色，但实际应用中颜料因含杂质，无法吸收掉所有光谱，故一般会使用专门的黑色颜料来弥补这一不足，也会称其为CMYK 颜色模型。
  3. YUV彩色模型
     YUV 颜色模型定义在 PAL 制式的彩色电视系统中，使用亮度信号 Y、色差信号U(R-Y)和 V(B-Y)编码彩色信号。

2.2 分辨率和像素深度

• 显示分辨率和图像分辨率
  显示分辨率是指显示屏上能够显示出的像素数目。
  图像分辨率是指组成一幅图像的像素密度。
• 像素深度：指存储每个像素所用的二进制位数。

2.3 真彩色和伪彩色

真彩色(Tue Color)是指组成一幅彩色图像的每个像素值中，有 R、G、B 三个基色分量,每个基色分量直接决定显示设备的基色强度，这样产生的彩色称为真彩色。例如，R、G、B 分量都用 8位来表示，可生成的颜色数就是 2”种，每个像素的颜色就是由其中的数值直接决定的。这样得到的色彩可以反映原图像的真实色彩，称为真彩色。
为了减少彩色图像的存储空间，在生成图像时，对图像中不同色彩进行采样，产生包含各种颜色的颜色表,即彩色查找表。图像中每个像素的颜色不是由3个基色分量的数值直接表达而是把像素值作为地址索引在彩色査找表中査找这个像素实际的 R、G、B 分量，将图像的这种颜色表达方式称为伪彩色。

2.4 图像获取

利用数字图像库的图像，也可以利用绘图软件创建图像，可以利用数字转换设备采集图像。
数字转换设备获取图像的过程实质是信号扫描和数字化的过程，主要分为三步：采样、量化和编码。

2.5 图像图像转换

图形和图像之间在一定的条件下可以转换，如采用栅格化(点阵化)技术可以将图形转换成图像;采用图形跟踪技术可以将图像转换成图形。一般可以通过硬件(输入/输出设备)或软件实现图形和图像之间的转换。

2.6 图像压缩技术及标准

数据压缩可分为无损压缩和有损压缩。无损压缩博士压缩前后压缩后的数据完全一致；有损压缩意味着解压缩后的数据和压缩前的数据并非完全相同，在压缩过程中有数据丢失。

2.7 图像文件格式

常见图像格式有：BMP文件、GIF文件、TIFF文件、PCX文件、PNG文件、JPEG文件、WMF文件。

3.动画和视频

动画是将静态的图像、图形及图画等按一定时间顺序显示而形成连续的动态画面。电影放映的标准是每秒放映24帧(画面)。

3.1 实时动画和矢量动画

实时动画采用各种算法来实现运动物体的运动控制。采用的算法有运动学算法、动力学算法、反向运动学算法、反向动力学算法和随机运动算法等。
矢量动画是由矢量图衍生出的动画形式。矢量图是利用数学函数来记录和表示图形线条、颜色、尺寸、坐标等属性，矢量动画通过各种算法实现各种动画效果，如位移、变形和变色等。

3.2 二维和三维动画

三维画面中的景物有正面，也有侧面和反面，调整三维空间的视点，能看到不同的内容。维画面则不然，无论怎么看，画面的内容是不变的。三维与二维动画的区别主要在于采用不同的方法获得动画中的景物运动效果。
物体模型有三种：线框模型、表面模型和实体模型。

3.3 模拟与数字视频

模拟视频是指由连续的模拟信号组成的视频图像，电视系统传播的信号是模拟信号，电视信号记录的是连续的图像或视像以及伴音(声音)信号。电视信号通过光栅扫描的方法显示在荧光屏(屏幕)上，扫描从荧光屏的顶部开始，一行一行地向下扫描，直至荧光屏的最底部，然后返回到顶部，重新开始扫描。这个过程产生的一个有序的图像信号的集合，组成了电视图像中的一幅图像，称为一帧，连续不断的图像序列就形成了动态视频图像。
数字视频信息是指活动的、连续的图像序列，一幅图像称为一帧，帧是构成视频信息的基本单元。视频与动画一样，是由图像帧序列组成，这些帧以一定的速率播放，使观看者得到连续运动的感觉。计算机的数字视频是基于数字技术的图像显示标准，它能将模拟视频信号输入计算机进行数字化视频编辑制成数字视频。

3.4 视频压缩编码

视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据量。视频是连续的静态图像，对于单帧图像压缩编码算法与静态图像的压缩编码算法有共同之处。但是，视频还有其自身的特性，在压缩时必须考虑其运动特性，即帧间的冗余。由于视频信息中各画面内部有很强的信息相关性，相邻帧又有高度的时间相关性，再加上人眼的视觉特性，所以数字视频的数据量可压缩几十倍甚至几百倍。

1. 帧内压缩：空间冗余
2. 帧间压缩：时间冗余，视觉冗余

3.5 视频文件格式

常见视频文件格式有：Flic文件、AVI文件、QuickTime文件、MPEG文件、RealVideo文件。