多媒体技术概论复习

一

1 绪论

1. 媒体的分类：
   - 感觉媒体
   - 表示媒体
   - 显示媒体
   - 存储媒体
   - 传输媒体

2. 多媒体技术概念

   • 以数字化为基础，对多种媒体信息进行采集，编码，存储，传输，处理和表现，综合处理多种媒体建立联系，集成为一个系统，良好交互性

3. 多媒体三个特性

   • 多样性 ：信息载体多样性 处理设备多样性
   • 交互性 ：易于人和计算机交互 初高中三个阶段
   • 集成性 ：1. 信息媒体的集成 减少多义性 保留关系 2. 设备的集成 软硬件

2 媒体及媒体技术

1. 图形 图像
   • 图形 ：计算机绘制的画面 描述几何图形的指令集合 对图像的抽象 可部分控制 产生需要计算时间 单位：图元
   • 图像 ：输入设备捕获的实际场景画面或数字化形式存储的画面 单位：像素
2. 颜色三要素
   - 色调（色相） ：颜色的外观 波长
   - 饱和度（纯度） ：颜色的纯度
   - 亮度 ：幅度 光强
3. 图像的颜色模型
   - 显示图像RGB相加混合模型
   - 打印图像CMY相减混色模型
4. 图像技术参数
   • 分辨率 采样
   • 图像深度（像素位数）量化
   • 数据量 前两者决定
5. 常用图像格式：BMP TIFF PNG JPEG GIF EXIT
6. 计算机设计动画：
   • 造型动画
   • 帧动画
7. 数字音频主要技术指标
   - 采样频率
   - 采样精度（量化位数）
   - 通道数
8. 模拟 数字 音频
   - 模拟音频 ：模拟磁性录音技术直接记录音频的波形
   - 数字音频 ：将声波波形转换成一连串的二进制数据
9. 声音数字化过程
   • 采样 ： 奈奎斯特采样理论：采样频率不应低于声音信号最高频率的两倍 采样频率应在40KHz左右
   • 量化 ：把某一幅度范围内电压用一个数字表示
   • 编码
10. 声音符号化
    • 音乐
    • 语音 ：与文字对应
    • MIDI ：乐器数字接口的国际标准 记录音乐的符号 产生和解释音乐符号
11. 声音三要素
    • 音调 ：频率
    • 音强 ：振幅
    • 音色 ：波形
12. 音频信号评价标准
    - 频带宽度 ：信号分量丰富 音质
    - 动态范围 ：强度相对变化范围大，音响
    - 信噪比 ：有用信号和噪声之比
    - 主观度量法 ：
13. 视频技术参数
    - 颜色空间
    - 帧速

3 媒体性质和特点

4 多媒体压缩技术

1. 数据冗余类型

   • 空间冗余
   • 时间冗余
   • 结构冗余
   • 知识冗余
   • 视觉冗余
   • 听觉冗余

2. 数据压缩技术性能指标

   • 压缩比 ： 输入数据与输出数据比
   • 恢复效果 ：
   • 压缩和解压的速度

3. 信息熵
   - 信息量 从n个相等的可能事件中选出一个事件的时间度量和含量 I(x) = -log_2 P(x)
   - 信息熵 平均信息量

4. 编码效率

5. 从熵损失角度，压缩技术分为
   - 无失真压缩
   - 有失真压缩

6. 从信息语义角度 压缩技术分为

   • 熵编码 ：不考虑被压缩信息性质
     - 重复序列消除
     - 统计编码
   • 源编码 ：取决于初始信号类型，前后相关性，信号语义，压缩程度取决于数据语义内容，比平均信息量编码压缩比更大
     • 预测编码
     • 变换编码
     • 向量量化

7. 哈夫曼编码：

8. 香农-凡诺算法：

9. 五代移动通信：
   - 1G ：用于语音通话，模拟技术、频分多址访问 每个用户使用独立的频率通道
   - 2G：数字无线网络，用于语音、文本消息、电子出版物
   - 3G：能够处理图像、语音、视频流等多种媒体形式。高速数据传输能力和扩大高质量话音业务容量
   - 4G：多输入多输出空分复用、高阶调制和编码的时空编码、正交频分复用。提高容量、降低干扰
   - 5G：

10. MPEG：兼容性好 压缩比高 数据损失小
    - MPEG1：视频 音频 系统三部分 特点：有损的，非平衡编码 应用：VCD MP3
    - MPEG2：
    - MPEG4：高速压缩、基于内容交互、基于内容分级扩展。因特网视音频广播、无线通信、电视电话、静止图像压缩、计算机图形、动画与仿真；电子游戏

11. MP3标准：压缩率高达10:1 ~ 12:1

5 多媒体硬件环境

1. 多媒体接口

   • 音频接口：
     • 声音卡：处理音频信号 板卡、集成、外置
   • MIDI：乐器数字接口
   • 视频显示接口：分量视频 复合视频 S-Video
     • 模拟显示接口：视频图像阵列 VGA
     • 数字显示接口：
       - DVI
       - HDMI：高清多媒体接口
       - DisplayPort
       - 视频采集卡

2. 常见存储卡类型：
   - CF卡：容量大 成本低 兼容性好 速度快
   - SD卡

3. USB闪存盘：体积小 重量轻 容量大 便宜耐用 无机械装置

   • 组成 ：机芯 （PCB板+主控+晶振+阻容电容+USB头+LED头+闪存芯片），外壳

4. 视频显示：
   - 阴极射线管显示屏CRT
   - 液晶显示屏LCD
   - 等离子显示屏PDP：无扫描线 无X射线 价格低 厚度薄
   - 电致变色显示器ECD
   - 发光二极管显示器LED：比LCD亮度 能耗 刷新率 厚度 清晰度更优

5. 超高清电视4K分辨率：3840*2160 4096*2160

6. 多媒体I/O设备：鼠标 操纵杆 手写板 手写笔 扫描仪

7. 触摸屏 ：红外 电阻膜 电容 表面声波 压力矢量

8. 数码相机：

   ​ -

6 多媒体软件

1. 常用软件：
   - 图像处理： Photoshop
   - 二维动画： animato Studio、Flash
   - 三维动画：3D Studio Max、Maya
   - 音频剪辑与处理：Wavedit/Creative WaveStudio/MIDI Orchestrator
   - 视频剪辑与处理软件：Adobe Premiere
   -

2. 多媒体著作工具：

   • 所谓多媒体著作工具是指能够集成处理和统一管理多媒体信息,使之能够根据用户的需要生成多媒体应用系统的工具软件 使用多媒体创作程序的目的就是简化多媒体的创作,使得创作者可以不必关心有关的多媒体程序的各个细节而创作多媒体的一些对象 一个系列以至整个应用程序

3. 多媒体应用设计过程：
   - 需求分析
   - 脚本编写
   - 各种媒体信息的数据准备
   - 创作设计
   - 维护测试

7 多媒体数据库

1. 多媒体数据管理的难点 ：多媒体数据不规则，没有一致的取值范围，没有相同的数据量级，没有类似的属性级

2. 多媒体数据库体系结构

   • 集中统一型 ：数据库集中管理多种媒体数据的联合操作
   • 联邦型 ：多种媒体数据的联合操作权交给用户
   • 客户/服务器型 ：通过多媒体数据管理中间件提供标准开放接口服务
   • 超媒体型 ：超媒体节点和链分别描述实体与实体间的联系

3. 基于内容的图像检索
   - 基于颜色直方图的检索
   - 基于骨架或轮廓的检索
   - 基于纹理的检索

8 多媒体信息管理系统

1. 超文本 ：

   • 是一种新颖的文本信息管理技术，建立各种媒体信息之间的网状链接结构，这种结构由节点组成
   • 超文本以非线性方式组织，文本中遇到的相关内容通过链接组织起来，与人的思维方式和工作方式比较接近

2. 超媒体 ：超文本的数据节点可以是文本，还可以是图像、动画、音频、视频[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eFm5cFOs-1641304846561)(C:\Users\张仕达\AppData\Roaming\Typora\typora-user-images\image-20211106215456432.png)]

3. 为什么要引入超文本/超媒体：信息爆炸、多媒体化、网络化分布化、信息间相互关系复杂、迫切需要一种技术或工具、高效地管理信息，并建立起信息之间的关联。

4. SGML ：通用文档结构描述标记语言，定义文献模型的逻辑结构和物理结构

5. HTMl ：超文本标记语言，SGML派生出的标记语言，SGML实例标记语言，DTD作为标准固定下来，用户不能修改

6. XML ：SGML的一个子集，一种简化的SGML，可以定义标记语言DTD

7. HTTP ：超文本传输协议

9 多媒体通信与网络

1. 网络多媒体特点

   • 同步：
   • 分布性 ：
   • 实时性
   • 数据量大
   • 面向用户的数据传输

2. 通信网络的相关指标 ：
   - 带宽
   - 吞吐量 ：有效的网络带宽，即物理链路的传输能力减去各种传输开销（物理开销、网络冲突、瓶颈、差错等）
   - 延迟 ：n源端发出一个分组，到目标端正确地接收到该分组所经历的时间。
   - 抖动
   - 可靠性

3. 不同Qos承诺
   - 确定型QoS：数据传输过程中网络提供“硬”的QoS保证。确保通信各方协商好的各QoS参数值，不允许有任何违背，否则可能会造成严重后果
   - 统计型QoS：数据传输过程中网络提供“软”的QoS保证。允许对通信各方协商好的各QoS参数值有一定比例的违约，适合于软实时应用
   - 尽力型 QoS **：**也称最佳效果传输，网络不提供任何QoS保证，网络性能随着负载增加而下降 — 目前Internet上大多分布式多媒体应用。

4. 实时传输协议RTP：提供端对端传输服务的实时传输协议，在数据传送服务中包含了装载数据的标识符、序列计时、时间戳和传送监视等；

5. 实时传输控制协议RTCP：主要为应用程序提供会话质量或者广播性能质量的信息

6. RTSP实时流传输协议(Real-Time Streaming Protocol，RTSP)是应用级的实时流传输协议，为单播和组播的流式多媒体应用提供可靠的播放性能，支持不同厂家提供的客户机和服务器之间的协同工作能力；

7. 资源保留协议RSVP(Resource Reservation Protocol，RSVP)定义在RFC 2205中，提供一种机制允许应用程序保留因特网上的资源，提供有QoS保证的服务。

8. 多媒体会议系统：
   - 网关：会议终端与其他类型的终端之间传输的数字信号进行转换。包括传输格式之间的转换和通信过程之间的转换
   - 会务器 ：地址转换、准入控制、带宽管理和区域管理等；
   - 多点控制单元（MCU）：支持在3个或3个以上的端点之间召开电视会议。