多媒体理论

媒体

媒体的含义

1. 储存信息的实际载体
   
2. 表示信息的逻辑载体
   

媒体的种类

1. 感觉媒体（接触信息的感觉形式）
   
2. 表示媒体（处理感觉媒体人为构造的一种媒体）
   
3. 显示媒体（表现和获取信息的物理设备）

• 输入显示媒体
  
• 输出显示媒体
  

4. 存储媒体（用来存放表示媒体）
   
5. 传输媒体（传输数据的物理载体）
   

多媒体

多媒体的定义

• 多媒体是融合两种或两种以上表示媒体的一种人机交互式信息交流和传播的媒体。

多媒体数据处理过程

多媒体技术

多媒体技术的定义

• 将多媒体信息通过计算机进行数字化采集、编码、存储、传播、处理和再现等，使多媒体信息简历逻辑连接，并集成一个具有交互性的系统。
• 综合处理—>图、文、声、像

多媒体技术的特征

1. 多样性（综合处理多媒体信息，将计算机处理的信息空间扩大）
2. 集成性（多种媒体信息的集成，以及与这些媒体相关的设备集成）
3. 交互性（能为用户提供有效的控制和使用信息的手段）
4. 实时性（能对静态媒体，尤其是动态媒体进行实时处理能力）

多媒体技术的发展历程

多媒体技术的标准进展

1. 静态图像压缩标准
   • JPEG
   • JPEG 2000
2. 动态图像压缩标准
   • MPEG-1（视频存储和回放VCD/MP3）
   • MPEG-2（数字电视DVD/HDTV）
   • MPEG-4（基于媒体对象的存储）
   • MPEG-7（多媒体的内容描述标准）
   • MPEG-21（多媒体框架标准）

多媒体系统结构

多媒体系统的定义

• 能对文本、音频、图形、图像、动画和视频等多媒体信息进行逻辑互连、获取、编辑、存储和播放的一种具有交互性的计算机系统。

多媒体系统的层次结构

多媒体系统的基本组成

多媒体硬件系统

*由计算机主机以及可以接收和播放多媒体信息的各种多媒体外部设备及其接口板卡组成

1. 计算机
   
2. 多媒体板卡
   
3. 多媒体外部设备
   

多媒体软件系统

多媒体系统软件

多媒体开发工具

1. 多媒体素材制作工具
   • 文字特效制作软件
     
   • 音频处理软件
     
   • 图形图像软件
     
   • 动画制作软件
     
   • 视频编辑软件
     
2. 多媒体著作工具
   
3. 多媒体编程语言
   

多媒体存储技术

1. 主流存储技术
   磁记录（硬盘、光盘、闪存等）
   
2. 光存储技术原理
   • 光存储技术又称为激光存储技术，它是继磁记录之后的又一种重要的信息存储技术，它包括信息写入和读出两个过程
   • 光盘上激光刻出的小坑代表二进制“1”，光滑代表二进制“0”
     
3. 光存储技术的发展方向

• 要提高光盘的存储密度和容量，首先考虑的是缩小光盘上的信息点的宽度，使一定面积的盘面能容纳更多的信息点
  
• 新方向：三维光存储技术、超分辨率存储技术

多媒体技术的应用领域

1. 教育与培训
2. 出版与图书
3. 商业与咨询
4. 通信与网络
5. 军事与娱乐

数字音频技术

声音的基本概念

声音的定义

• 声音是通过一定介质传播的连续波
• 声波：
  

声音的重要指标

1. 振幅： 音量的大小
2. 周期：重复出现的时间间隔
3. 频率：信号每秒变化次数（f=1/T）

声音按频率分类

• 语音信号频率范围：300Hz~3kHz
  

声音质量的频率范围

• 频带
  

声音的听觉特性

• 响度：人耳对声波强弱程度的主观感觉，它主要取决于声强，也与频率有关系
• 音调：人耳对声音调子高低的主观感觉，它主要取决于声音的频率，频率高则声音尖锐，频率低则声音低沉
• 音色：人在主观感觉上区别相同响度和音调的两种声音不同的特性

声音的元素

• 语音：分成对白、旁白、独白、群白
• 音乐：音的高低、强弱、长短等变化
• 音响：分为动作、自然、机械、军事、动物、交通等

声音的数字化

声音信号的类型

1. 模型信号——自然界、物理
   
2. 数字信号——
   

声音数字化过程

数字音频质量三要素

采样频率	量化位数	声道数
每秒钟抽取声波幅度样本的次数	每个采样点用多少二进制位表示数据范围	使用声音通道的个数
采样频率越高，声音质量越好，数据量也越大	量化位数越多，音质越好，数据量也越大	立体声比单声道的表现力丰富，但数据量翻倍
11.025kHz，22.05kHz，44.1kHz	8位 = 256，16位=65536	单声道，立体声

声音数字化的数据量

• 音频数据量=采样频率量化位数声道数/8（B/s）
  

音频的文件格式

1. WAV文件（声音层次丰富，还原音质好）
   WAV是Microsoft/IBM共同开发的PC波形文件，因未压缩，文件数量量很大。
2. MP3文件（高压缩比11:1，优美的音质）
   MP3（MPEG Audio Layer3）是一种按MPEG标准的音频压缩技术制作的音频文件。
3. WMA文件（压缩到MP3一半而音质不变）
   WMA（Windows Media Audia）是Windows Media格式中的一个子集（音频格式）
4. MIDI文件（数据量很小，缺乏重现自然音）
   MIDI（乐器数字接口）是一组声音或乐器符号的集合

音频信号压缩编码的分类

1. 无损压缩（熵压缩）
   霍夫曼编码、算术编码、行程编码
2. 有损压缩
   波形编码——PCM、DPCM、ADPCM、子带编码
   参数编码——LPC、通道声码器
   混合编码——MPLPC、CELP

音频压缩技术标准

数字图像技术

图像的基本概念

光与颜色

1. 光的本质
   光是一种电磁波
   
2. 颜色内涵
   1. 色调（光的颜色）
   2. 饱和度（颜色的深浅，指彩色中白光含量多少）
   3. 亮度（颜色的明暗程度）
3. 颜色模型
   1. RGB模型（红色、绿色、蓝色）
      
   2. CMYK模型（青色、洋红、黄色、黑色）
      因为字母B表示为蓝色，所以此处黑色（black）用K表示
      

图形与图像

1. 图像（位图图像、点阵图像）
2. 图形（矢量图形、几何图形）
3. 图像与图形的比较

-	图像	图形
文件大小	与图像的尺寸和颜色有关，较大	与图形的复杂程度有关，较小
文件内容	图像点阵数据	图形指令
缩放特点	有失真	无失真
处理技术	获取、复制和技巧性	绘制、创造和艺术性
适合范围	表现自然和细节景物层次、色彩较丰富	表现变化的曲线简单图案、运算结果

图像的数字化

1. 图像的主要参数
   1. 分辨率（显示分辨率、图像分辨率、像素分辨率）
   2. 颜色深度
      

图像的文件格式

1. BMP格式
   • Windows标准图像文件
   • 只有4位或8位才能进行压缩
   • 每个文件只能存放一幅图像
   • 多种颜色存储格式
2. GIF格式
   • 网络传输和BBS用户使用的图像格式
   • 世界通用的图像格式
   • 采用改进的LZW压缩算法处理数据
   • 最多存储256色，不支持24bit
   • 一个文件可存放多幅图像
3. JPG格式
   • 一种高效率的压缩格式
   • 表达自然景观的图片，JPEG编码方式具有非常好的处理效果
   • 计算机绘制的具有明显边界的图形，JPEG编码方式的处理效果不佳
4. PNG格式
   • 一种流式网络图形格式
   • 支持24位颜色深度图形
   • 存储灰度图像时，图像深度达16位
   • 存储彩色图像时，图像深度达48位
5. TIFF格式
   • 通用的位映射图像文件格式
   • 可移植性好
6. PSD格式
   • Photoshop的专用文件格式，它包含图层、通道、蒙版等制作效果
   • 保存各种信息，占用空间较大
   • 压缩比与JPEG差不多，且不失真
   • 支持RGB、CMYK等色彩模式
   • PSD存取速度比其他格式快

图像压缩方法概述

1. 图像压缩依据
   1. 图像数据的冗余性（空间冗余、结构冗余、知识冗余、视觉冗余）
   2. 图像数据的相关性（前后帧的相似度）
2. 图像压缩技术
   1. 无失真编码
   2. 有失真编码

JPEG图像压缩标准

1. JPEG标准（ISO和ITU-T共同组建的联合图像专家组）
   国际标准：连续色调的静态图像编码
   
2. JPEG压缩步骤
   
3. JPEG 2000标准（JPEG升级标准）
   
4. JPEG 2000应用与说明
   
5. JPEG与JPEG 2000的比较