《系统架构设计师教程（第2版）》第2章-计算机系统基础知识-06-多媒体

1. 概述

• 媒体 (Media) ：是承载信息的载体，即信息的表现形式(或者传播形式)

媒体分类（按照 ITU-T建议）：

• 感觉媒体 (Perception Medium)
  • 概念：用户接触信息的感觉形式
  • 如：视觉、听觉和触觉等
• 表示媒体 (Representation Medium)：
  • 概念：信息的表示形式
  • 如：图像、声音、视频等
• 表现媒体 (Presentation Medium)
  • 概念：也称显示媒体，指表现和获取信息的物理设备
  • 如：键盘、鼠标、扫描仪、话筒和摄像机等输入媒体；显示器、打印机和音箱等输出媒体
• 存储媒体 (Storage Medium)
  • 概念：用于存储表示媒体的物理介质
  • 如：硬盘、软盘、磁盘、光盘、ROM及RAM等
• 传输媒体 (Transmission Medium)
  • 概念：传输表示媒体的物理介质
  • 如：电缆、光缆和电磁波等

• 多媒体 (Multimedia)： 指利用计算机技术把文本、图形、图像、声音、动画和电视等多种媒体综合起来，使多种信息建立逻辑连接，并能对它们进行获取、压缩、加工处理和存储，集成为一个具有交互性的系统。
• 多媒体技术主要包括：感觉媒体的表示技术、数据压缩技术、多媒体存储技术、多媒体数据库技术、超文本与超媒体技术、多媒体信息检索技术、多媒体通信技术、人机交互技术等。

1.2 多媒体的特征

• 多维化

指媒体的多样化，它提供了多维化信息空间下的交互能力和获得多维化信息空间的方法，如输入、输出、传输、存储和处理的手段与方法等。

• 集成性

指多媒体设备集成、信息集成、表现集成

• 交互性

交互性是人们获取和使用信息时变被动为主动的最重要的标志。交互性可向用户提供更有效地控制和使用信息的手段，可增加人们对信息的注意和理解。

• 实时性

如，音频和视频信息具有很强的时间特性，会随着时间的变化而变化。

1.3 基本组成

• 硬件：计算机主要配置和外部设备以及与各种外部设备的控制接口
• 软件：多媒体驱动软件、多媒体操作系统、多媒体数据处理软件、多媒体创作工具软件和多媒体应用软件等

1.4 多媒体技术应用

• 对图像信息的处理

通过多媒体的压缩功能，能够将图像信息进行各种形式的转换，从而保证图像信息的传递性。

• 对音频信息的处理
• 语音转换功能

2. 关键技术

2.1 视音频技术

• 视频技术
  • 视频数字化：是将模拟视频信号经模数转换变换为计算机可处理的数字信号，使计算机可以显示和处理视频信号
  • 视频编码技术：是将数字化的视频信号经过编码成为视频信号，从而可以录制或播放。
• 音频技术：音频数字化、语音处理、语音合成、语音识别4个方面

1）视音频编码

• 编解码器：能够对一个信号或者一个数据流进行变换的设备或者程序。
• 视音频编码的目的：对视音频数据进行传输和存储
• 常见的视频格式：.mpg、.avi、*.mov、mp4、.rm、*ogg和 *tta等。

2）视音频压缩方法

• 无损(Lossless) 压缩
  • 概念：无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。
  • 常见的格式：WAV、PCM、TTA、FLAC、AU、APE、TAK、 WavPack(WV)
• 有损 (Lossy ) 压缩
  • 概念：在压缩的过程中要丢失一些人眼和人耳不敏感的图像或音频信息（不可恢复）
  • 常见的格式：MP3、Windows Media Audio(WMA)、Ogg Vorbis(OGG) 等

2.2 通信技术

• 数据传输信道
  • 概念：指通信的物理介质
  • 包括：同轴电缆、双绞线、光纤、越洋海底电缆、微波信道、短波信道、无线通信、卫星通信
• 数据传输技术
  • 数据传输技术是指在物理介质上如何组织、传送数据的方法
  • 包括：基带传输、频带传输及调制技术、同步技术、多路复用技术、数据交换技术、编码、加密、差错控制技术和数据通
    信网、设备、协议等。

2.3 数据压缩技术

• 分类：
  • 即时压缩和非即时压缩
    • 区别：信息在传输过程中被压缩还是信息压缩后再传输。
    • 即时压缩一般应用在影像、声音数据的传送中。即时压缩常用到专门的硬件设备，如压缩卡等。
  • 数据压缩和文件压缩
    • 数据压缩：专指一些具有时间性的数据，这些数据常常是即时采集、即时处理或传输的
    • 而文件压缩：指对将要保存在磁盘等物理介质的数据进行压缩
  • 无损压缩与有损压缩
    • 无损压缩：是利用数据的统计冗余进行压缩
    • 有损压缩：是利用了人类的视觉、听觉对图像、声音中的某些频率成分不敏感的特性，允许压缩的过程中损失一定的信息。
• 几种压缩技术
  • 静态图像压缩编码的国际标准
    • 联合图像专家小组标准 (Joint Photographic Experts Group,JPEG)
    • 标准：JPEG、JPEG 2000
  • 动态图像视频编码标准 (MPEG)。
    • 运动图像专家组 (Moving Picture Experts Group,MPEG)
    • 标准：MPEG-1、 MPEG-2、MPEG-4、MPEG-7、MPEG-21、DVI。
  • 视频编解码器标准 (H.26L)
    • 适用于可视电话和视频会议等实时视频通信

2.4 虚拟现实 (VR)/增强现实 (AR) 技术

1） VR技术

VR概念包含3层含义。

• 虚拟实体是用计算机生成的一个逼真的实体。
• 用户可以通过人的自然技能(头部转动、眼动、手势或其他身体动作)与该环境交互。
• 要借助一些三维传感设备来完成交互动作（头盔立体显示器、数据手套、数据服装、三维鼠标等）

2） AR技术

• 概念：指把原本在现实世界的一定时间和空间范围内很难体验到的实体信息通过模拟仿真后，再叠加到现实世界中被人类感官所感知，从而达到超越现实的感官体验。
• 相关技术
  • 计算机图形图像技术

  这种增强的信息可以是在真实环境中与之共存的虚拟物体，也可以是实际存在的物体的非几何信息（颜色、纹理、光照、透明度等）。

  • 空间定位技术

  为了改善效果，增强现实所投射的图像必须在空间定位上与用户相关。当用户转动或移动头部时，视野变动，计算机产生的增强信息随之做相应的变化。

  • 人文智能
    • 特点：将处理设备和人的身心能力结合

  试图发挥传感器、可穿戴计算等技术的优势，使人们能够捕获自己的日常经历、记忆及所见所闻，并与他人进行更有效的交流。

3）分类

4）需要提高的关键技术

• 数据采集与优化传输技术
  • 数据采集：主要解决如何获取光照、火焰、动态地形等自然现象的数据问题。
    • 常用设备：全向相机、高速摄像机、激光设备
  • 优化数据传输技术：满足低功耗、低延时、高效率等特点，保证数据传输的可靠性。
• 交互与情形实时再现技术
  • 力觉反馈：借助操作控制杆的反作用力效果将虚拟物体的运动轨迹转换成真实物体的机械运动
  • 触觉反馈：指通过手戴3D 数据手套获取手掌和手指的形态和温度等信息，来满足用户对虚拟物体的移动、抓取和触摸等操作。

---