第二章：计算机系统基础知识之多媒体

多媒体概述

  媒体(Media)是承载信息的载体，即信息的表现形式(或者传播形式)，如文字、声音、图像、动画和视频等。按照ITU-T建议的定义，媒体可分为感觉媒体、表示媒体、显示媒体、存储媒体和传输媒体。

1. 感觉媒体(Perception Medium)，指的是用户接触信息的感觉形式，如视觉、听觉和触觉等。
2. 表示媒体(Representation Medium)，指的是信息的表示形式，如图像、声音、视频等。
3. 表现媒体(Presentation Medium)也称为显示媒体，指表现和获取信息的物理设备，如键盘、鼠标、扫描仪、话简和摄像机等为输入媒体；显示器、打印机和音箱等为输出媒体。
4. 存储媒体(Storage Medium)，指用于存储表示媒体的物理介质，如硬盘、软盘、磁盘、光盘、ROM及RAM等。
5. 传输媒体(Transmision Medium)，指传输表示媒体的物理介质，如电缆、光缆和电磁波等。

  多媒体(Mutimedia)就是指利用计算机技术把文本、图形、图像、声音、动画和电视等多种媒体综合起来，使多种信息建立逻辑连接，并能对它们进行获取、压缩、加工处理和存储，集成为一个具有交互性的系统。

多媒体的重要特征

  多媒体有4个重要的特征。

1. 多维化。多维化是指媒体的多样化。
2. 集成性。集成性不仅指多媒体设备集成，而且指多媒体信息集成或表现集成。
3. 交互性。交互性是人们获取和使用信息时变被动为主动的最重要的标志。
4. 实时性。实时性是指多媒体技术中涉及的一些媒体。例如，音频和视频信息具有很强的时间特性、随者时间的变化而变化。

  多媒体技术主要包括感觉媒体的表示技术、数据压缩技术、多媒体存储技术、多媒体数据库技术、超文本与超媒体技术、多媒体信息检索技术、多媒体通信技术、人机交互技术以及多媒体计算机及外部设备等。

多媒体系统的基本组成

  多媒体系统通常由硬件和软件组成。其中，多媒体硬件主要包括计算机主要配置和外部设备以及与各种外部设备的控制接口。多媒体软件主要包括多媒体驱动软件、多媒体操作系统、多媒体数据处理软件、多媒体创作工具软件和多媒体应用软件等。

多媒体系统的关键技术

视音频技术

  视频技术包括视频数字化和视频编码技术两个方面。视频数字化是将模拟视频信号经模数转换变换为计算机可处理的数字信号，使计算机可以显示和处理视频信号。视频编码技术是将数字化的视频信号经过编码成为视频信号，从而可以录制或播放。音频技术包括音频数字化、语音处理、语音合成及语音识别4个方面。

1. 视音频编码
   编解码器指的是能够对一个信号或者一个数据流进行交换的设备或者程序。视音频编码的目的是对视音频数据进行传输和存储，在很多多媒体数据流中，往往需要同时包含音频数据和视频数据，这时通常会加入一些用于音频和视频数据同步的元数据(如字幕)。通常，这种编码后的封装是通过视频文件格式来实现的，如常见的*.mpg、.avi、.mov、mp4、.rm、og和.ta等。
2. 视音频压缩方法
   目前，视音频压缩方法有上百种，这些方法总体上可归类为有损(Lossy)压缩和无损(Losles)压缩两类。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。而有损压缩意味着解压缩后的数据与压缩前的数据不一致，在压缩的过程中要丢失一些人眼和人耳不敏感的图像或音频信息，这些丢失的信息是不可恢复的。无损压缩常见的格式有WAV、PCM、TTA、FLAC、AU、APE、TAK和Wav Pack(wV)等;有损压缩常见的格式有MP3、Windows Media Audio(WMA)、Ogg Vorbis(OGG)等

通信技术

  通信技术是多媒体系统中的一项关键技术，是指将信息从一个地点传送到另一个地点所采取的方法和措施。

数据压缩技术

  数据压缩的算法非常多，不同特点的数据有不同的数据压缩算法(也就是编码方式)，按类别分主要存在以下了类。

1. 即时压缩和非即时压缩。即时/非即时压缩的区别在于信息在传输过程中被压缩还是信息压缩后再传输。即时压缩一般应用在影像、声音数据的传送中。即时压缩常用到专门的硬件设备，如压缩卡等。
2. 数据压缩和文件压缩。数据压缩是专指一些具有时间性的数据，这些数据常常是即时采集、即时处理或传输的。而文件压缩是指对将要保存在磁盘等物理介质的数据进行压缩。
3. 无损压缩与有损压缩。无损压缩是利用数据的统计冗余进行压缩，通常无损压缩的压缩比比较低。而有损压缩是利用了人类对视觉、听觉对图像、声音中的某些频率成分不敏感的特性，允许压缩的过程中损失一定的信息。

虚拟现实(VR)/增强现实(AR)技术

  虚拟现实(Virtual Rcality,VR)又称人工现实、临境等，VR技术涵盖了传统多媒体技术的所有内容。VR是一种可以创建和体验虛拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中，让人有种身临其境的感觉。
其概念包含了层含义。

1. 虚拟实体是用计算机生成的一个逼真的实体。
2. 用户可以通过人的自然技能(头部转动、眼动、手势或其他身体动作)与该环境交互。
3. 要借助一些三维传感设备来完成交互动作，常用的有头盔立体显示器、数据手套、数据服装和三维鼠标等。

  增强现实(Augmented Reality，AR)技术是指把原本在现实世界的一定时间和空间范围内很难体验到的实体信息(视觉信息、声音、味道和触觉等)，通过模拟仿真后，再增加到现实世界中被人类感官所感知，从而达到超越现实的感官体验。

计算机图形图像技术。

  增强现实的用户可以戴上透明的护目镜，透过它看到整个世界，连同计算机生成而投射到这一世界表面的图像，从而使物理世界的景象超出用户的日常经验之外。这种增强的信息可以是在真实环境中与之共存的虛拟物体，也可以是实际存在的物体的非几何信息。

空间定位技术

  为了改善效果，增强现实所投射的图像必须在空间定位上与用户相关。当用户转动或移动头部时，视野变动，计算机产生的增强信息随之做相应的变化。

人文智能

  该技术以将处理设备和人的身心能力结合起来为特点，并非仿真人的智能，而是试图发挥传感器、可穿戴计算等技术的优势，使人们能够捕获自己的日常经历、记忆及所见所闻，并与他人进行更有效的交流。

  VR/AR技术发展至今，虽然被广泛应用，其主要关键技术还有待深入研究，这些关键技术主要包括:

1. 数据采集与优化传输技术。数据采集主要解决如何获取光照、火焰、动态地形等自然现象的数据问題，通常用了种设备获取，即全向相机、高速摄像机和激光设备。优化数据传输技术是要满足低功耗、低延时、高效率等特点，保证数据传输的可靠性。
2. 交互与情形实时再现技术。交互技术的接触方式可分为力觉反馈和触觉反馈两种。力觉反馈是指借助操作控制杆的反作用力效果将虚拟物体的运动轨迹转换成真实物体的机械运动;
   触觉反馈是指通过手戴3D数据手套获取手掌和手指的形态和温度等信息，来满足用户对虛拟物体的移动、抓取和触摸等操作。情形实时再现包含了跟踪定位技术、高效可靠的渲染技术和逼真的显示技术等。