多媒体笔记

## 一

1. 媒体分类（感觉，传输，表现，表示，存储）

2. 多媒体技术概念 特点

 1. ==概念==：『计算机』交互式综合处理『多种媒体信息』（文本，图形图像，声音）使得多种信息建立逻辑连接，集成一个系统并用『交互性』

 2. ==特点==：集成性 实时性 交互性 高质性（全数字化方式加工处理图声信息，精确度高，质量效果好）

3. ==多媒体技术的标准化阶段==：JPEG MPEG H.26X 音频压缩标准

 1. *多媒体的关键技术是关于多媒体数据的解码和压缩算法*

 2. 三个主要标准：JPEG（联合图像专家组，适用彩色单色，多灰度连续色调，静态图像压缩国际标准）

 3. MPEG（运动图像专家组，有关运动图像压缩标准）MPEG1用于数字运动图像，平均压缩比50：1，半音速率1mbps。还有2，4，7，21

 4. H.26X（ITU推荐视频编码专家组制定，也叫P * 64KBPS。面向可视电话和电视会议的视频压缩算法国际标准。

 5. 音频压缩标准：MPEG124，

4. 多媒体结构：应用系统、创作系统、多媒体核心系统、多媒体输入/输出控制及接口、多媒体计算机所配置的硬件、计算机硬件

## 二

1. 模拟信号和数字信号的区别：

 1. ①将源信号的一些特征未经编码直接通过载波的方式发出，是连续的。容易故障，经常噪音和信号丢失，拷贝过程累加。

 2. ②通过数学方法对原有信号进行处理，编码成二进制信号后，再通过载波的方式发送编码后的数字流，是离散的。抗干扰能力强，无噪声积累

2. 数据冗余的分类：空间，时间，信息熵，结构，知识，感觉（视听），其他。信息熵的计算公式：

3. ==彩色空间字母含义作用==

 1. RGB（红绿蓝）彩色空间最基本的表示模型，也是计算机系统常用的彩色模型

 2. HSI（色调hue，饱和度saturation,光强intensity)三个分量表示一个颜色，更符合人的视觉特性

 3. YUV（Y亮度信号，U、V色差信号）亮度信号与色差信号是分离的，容易使彩色电视系统与只对亮度敏感的黑白电视机亮度信号兼容。中国德国电视机

 4. YIQ彩色空间（Y亮度，IW共同描述图像色调和饱和度）

 5. CMYK『印刷四分色』（是彩色印刷时采用的一种套色模式，利用色料的三原色混色原理，加上黑色油墨，共计四种颜色混合叠加，形成所谓“全彩印刷”。）C：Cyan 青色，M：Magenta 洋红“品红色”，Y：Yellow 黄色，K：blacK黑色

4. 常见的图像文件格式，特点

 1. BMP 格式：非压缩格式、存储单色 16 色 256 色真彩色（左下角）、调色板中红绿蓝排列顺序相反

 2. PCX 格式：PCX 格式是经过压缩的格式，占用『磁盘空间较少』。缩时能保留全部彩色信息。

 3. GIF 格式：允许用户为图像设置『背景的透明属性』、支持交织特性每隔八行处理一次、可将多个图片存成一个文件形成动画。

 4. JPEG 格式（照片格式首选）：支持彩色图像和连续的灰度图像、支持类同于 GIF的交织特性但是不支持动画

 5. PSD 格式：可以存储成 RGB 或 CMYK 模式，可以将不同的图形对象以“层”（Layer）的方式分离储存，便于修改和制作各种特殊效果，还可存放路径、通道、蒙版等多种设计数据。

5. 数据压缩算法的分类；（无损压缩和有损压缩）

 1. 无损可逆：霍夫曼，算术，行程长度 2：1～5：1

 2. 有损不可逆：预测，变换，统计，LZW ＜＝ 1：100（量化与向量量化编码、信息熵编码、子带编码、模型编码）

6. ==预测编码==：PCM脉冲编码调制 ；DPCM差分～ ；ADPCM自适应差分～ ; 误差的来源？编码和传输的是什么？（采样→量化→编码）

 1. 编码传输的不是像素采样值，而是采样值的预测值与实际值的差值。

 2. 误差来源是发送端的量化器，与接受无关。量化则为有损～，不量化就是无损～

7. ==变换编码==；(有损压缩）因为量化器的存在。各种变换的特点。

 1. 离散傅立叶变DFT，快速傅立叶变换FFT，语音图像等信号处理

 2. 离散余弦变换DCT，图像处理。复杂度适中，有快速算法也有『可分离』特性。影响细节，精细信息损失多，人工处理痕迹明显。

 3. 小波变换，频率精度差，时间分析好，同时分解时间和频率。适合信号带宽比较窄的图像。

 4. 小波变换对整个图像变换（而非DCT先对图像小区域分割）小波变换没有量化表（DCT有与人类视觉匹配的矢量量化表）压缩速度快，影像更精细。MPEG4

 5. 变换编码：特点离散、平稳、无记忆、无歧义、KL 变换（最佳变换，计算太复杂不实用）

8. ==静态图像压缩编码的编码过程==；基于 DCT 有失真压缩编码的四个步骤。

 1. JPEGの基于DPCM的无失真编码，先简单预测

 2. 基于DCT有失真压缩编码：

 3. 原图像数据（8X8 块）→FDTC→量化器→熵编码器→压缩图像数据（解码）==步骤==：离散余弦变换→量化处理→DC 系数与AC系数の行程编码→熵编码→压缩比和图像质量（压缩）

10. JPEG2000 的特点；（高压缩率、无损压损、感兴趣区域压缩、渐进传输）

11. MPEG视频数据流的结构及视频压缩的技术。（基于块的运动补偿技术。块匹配法）

12. 音频压缩标准

 1. ITU语音标准化方案『G.728』可视电话，数字移动通信，卫星通信，无绳电话；『G.721』卫星通信，长距离且信道高价格的语音传输，电视会议『G.722』电视会议系统，要解决高质量的语音传送

## 三

1. ==多媒体数据的特点==：数据量大、数据类型多、数据类型间区别大、媒体数据的输入和输出复杂

2. ==光盘存储原理及技术指标==（存储容量，平均存取时间（三部分组成），误码率等）；

 1. 光存储技术原理：激光在介质上读写。

 2. 『非磁性介质存储』原理：激光射，射熔化了有坑，一坑一位。1坑0无

 3. 特点：具有可拆卸性+容量大+随机存储性强+磨损小+保存信息时间长+读写速度慢+便宜

 4. 技术指标：存储容量、平均存取时间、数据传输率、误码率（＜10～12）、平均无故障时间大＞25000 小时、接口标准及格式规范

 5. 平均存取时间=平均寻道时间（取光头沿半径移动全程1/3长度所需的时间）+平均等待时间（转一周所需时间的一半，一般10ms）+读写光头稳定时间

3. 光盘分类（3类）；EFM调制，（磁性材料）可重写光盘的原理（磁光式和相变式擦写原理）；

 1. ==分类==：只读CD-ROM，一写多读WORM，可重写Rewrite

 2. ==EFM== 调制：为了使伺服系统稳定的工作，应尽量减少信号的低频分量和直流平均分量，并排除干扰，在对光盘记录信号之前，需要进行 EFM 调制，它是 8 位~14位调制的英语缩写词。==PPT三18==

 3. 可重写光盘原理：

  1. ==磁光式==：玻璃盘基加四层膜组成，稀土过渡金属垂直磁化膜作为记录介质光学膜保护膜。 

  2. 激光射磁化物质，利用居里点热磁效应。激光对需要存1的加热到＞居里点，失去磁性。反向磁化从而产生1。写就是回复原来方向（稀土-铁）

  3. 补偿点记录（稀土-钴）

  4. ==相变式==：利用记录介质在晶态和非晶态之间的转换来记录和重写数据。

4. CD-DA的规范及格式。（74分光道，1秒＝75扇区，每帧33字节，使用了 CIRC 检测校正，误码率是：1/109）采用常线速CLV伺服方式，逆时针转。

 1. CDROM和CDDA很像但是在每个扇区中数据格式不同，两种格式的不同。（用户数据量，存储的数据类型，误码率 mode1：1/10∧12; mode2：1/10∧9）

5. CLV CAV特点

 1. ==CLV 型视盘==：扇区长度为常数，以紧凑形式存放信息，每盘可以存放 60 分钟的视频信号。

 2. 当驱动器从内圈到外圈读盘时，由于内圈和外圈存放的信息量不同，所以转速也不同。在内圈可达到每分钟 1800 转，在外圈轨道每分钟约 600 转。

 3. ==CAV 型视盘==：以类似于磁盘的方式划分扇区，扇区长度从内圈到外圈逐渐增加，每盘仅可存放 30 分钟视频信号。

 4. 优点是驱动器读盘时，从内圈到外圈，转速一致。

 5. 对 NTSC 制式：CAV 视盘转速为每分钟 1800 转，

 6. 对 PAL 制式：CAV 视盘转速为每分钟 1500 转。

 7. 这种信息存放格式有利于单帧访问、搜索、帧序列的随机访问等功能，适合于多媒体平台 。

6. 扫描仪、照相机、显示设备的原理。

7. 显卡的工作过程

 1. 从总线进入显示芯片，将CPU送来的资料进行处理

 2. 芯片处理完的资料送给显存

 3. 显存读取到的数据送给RAM DAC进行数模转换

 4. 转换完的模拟资料送到显示器

## 四

1. photoshop 中工具的作用。（明白工具的使用）PPT四36

 1. 扫描图像，用户方便地把照片图片扫描到ps中进行处理

 2. 色彩调整，ps提供了丰富的色彩调整功能，主要包括色阶调整，色彩平衡调整，亮度对比度调整，色相饱和度调整，颜色替换和色彩均化

 3. 选择和蒙版。矩形选择工具选择一块矩形。套索工具收回选择区。魔棒工具选择颜色相近的区域。蒙版保护选择区不被编辑。

 4. 图像变换和修饰，裁剪图像，更改画布大小，'液化'，变换二维空间，变换三维对象，涂抹工具，聚焦工具，色调工具，海绵工具

 5. 绘画绘图，画笔铅笔喷枪橡皮擦，钢笔矩形椭圆多边形工具。形状是面向对象的，可以快速选择形状，调整大小移动，编辑形状轮廓/路径、属性（线条粗细，填充色，填充样式）

 6. 通道，允许用户编辑通道，用通道存储图像颜色信息和专色信息。

 7. 图层，使用图层管理用户处理的图像，就像一些按顺序摞起来的画纸

 8. 滤镜，选择区域风格化处理。

2. 图像和图形的区别。分辨率

 1. 图形和图像的区别

 2. 图形：由显示芯片运行生成的几何图形或几何图形的集合，或由外部轮廓线条构成的矢量图。可任意放缩不失真，基于矢量。3d Max

 3. 图像：已经通过软硬件处理过的图形。扫描机摄影机输入捕捉到的实际画面，产生数字图像。由像素点阵构成的位图，不能随便缩放。

3. 多媒体应用软件的开发过程：1.明确使用对象，了解用户需求；2.总体设计；3.选择开发方法；4.准备多媒体数据；5.完成系统集成；6.测试；7.运行与维护。

4. 波形音频的要素：

 1. 音调音色响度

 2. 标准采样率：11.025KHZ 22.05KHz（FM广播） 44.1KHz（CD） 48KHz （DVD）

 3. 量化 采样点离散音频数据转化成计算机能表示的数据范围。等级取决于计算机能用多少位表示一个音频数据。8，16，32位

 4. 声道，一次采样的声音个数

 5. `10Hz~20KHz（CD-DA） 20HZ~15KHz（FM） 50HZ~7KHz（AM） 200Hz~3400KHz（TELE）`

 6. FM: Frequency Modulation 调频，一般广播；AM:Amplitude ～调幅，分为：SW （短波）、MW（中波）、LW（长波）

5. 模拟→数字：模拟音频信号输入 数字化 压缩编码 传输存储处理 解码 播放

6. 图形和动画的基础知识

 1. PPT四67

## 五

1. 多媒体创作系统的组成：

 1. (1) 素材库：主要提供各种素材(声音、图像、动画、视频影像文件等)供编辑使用。

 2. (2) 编辑：完成大部分的创作工作。用户根据自己的需要选择各种图符，按一定的顺序安排在编辑窗口内，再从素材库中选择相应的素材，填充每个图符。填充内容的图符按一定的方式组织在一起，就组成应用程序。

 3. (3) 播放：作用是播放应用程序，观察程序执行的效果，并根据需要作适当的修改达到完善应用程序的作用。

2. 多媒体开发工具的功能及特性：

 1. 功能：1.有良好的面向对象的==编程环境== 2.多媒体数据 I/O 能力 3.处理动画 4.超级链接能力 5.应用程序的链接能力 6.友好、易学易用的==界面==

 2. 特性：1.编辑和组织特性 2.编程特性 3.交互特性 4.多媒体信息精确同步的特性 5. 测试特性6.提交特性

## 六

1. 多媒体数据对数据库的影响

 1. 数据量大媒体差异大，影响数据库的组织和存储方法

 2. 媒体种类多，数据处理困难

 3. 改变了数据库接口使其图文声并茂，也改变了数据库的操作形式，最重要的是查询机制和查询方法。

 4. 尽可能采用短短事务，为保证播放不中断，MDBMS应增强处理长事务能力

 5. 考虑版本控制问题。

2. MDBMS功能要求

 1. MDBMS必须能表示处理各种多媒体数据，重点是不规则数据如图像图形声音。

 2. 必须能反映管理各种'媒体数据'的特性，或者各种'媒体数据'之间『时间』或『空间』的联系

 3. 满足物理数据独立性，逻辑数据独立性，还必须满足『媒体数据独立性』

3. 三层模式，三个独立性

 1. 物理模式（『内部模式』、存储模式）定义数据存储组织方法

 2. 概念模式，描述了数据库的逻辑结构 并 隐藏物理存储细节。定义了抽象『现实』的方法。

 3. 外部模式，即『视图』，对用户有用的一部分，描述了某人想看的东西の『数据结构』

 4. 物理数据独立性，物理数据组织（『物理模式』）改变时，不影响概念 数据组织（『逻辑模式』），

 5. 同理，逻辑数据独立性是''概～织''改变时不影响用户的视图

 6. 媒体数据独立性是在『MDBMS』设计与实现中，系统保持个媒体的透明和独立性。（用户的操作可最大程度『无视』各种媒体的差别，不受具体媒体的影响和制约。『祂』也不受媒体变换的影响

4. MDBMSの组织结构

 1. 集中型：由一个MDBSM管理建立不同媒体的数据库，并由他管理『对象空间和目的数据』的集成。各种媒体统一建模，用户需求统一到一个接口之中。==优点是它建模统一==，用户接口统一，管理操作统一，查询搜索结果统一。==缺点==：当然，这种数据系统很难实现。

 2. 主从型：每个数据库各有自己的数据库管理系统，这些系统又听从一个『主数据库管理系统』的控制和管理。`不同类型的媒体数据相互独立`，`系统将每一种媒体的管理与操纵各用一个服务器实现`。==优点==：可以根据不同的用户需求选择不同服务器与客户进程的组合，很容易符合应用的需求。==缺点==：必须对服务器和客户进行仔细的规划和统一考虑，采用『标准化和开放』的接口界面。

 3. 协作型：由并没有主从之分的数据库管理系统组成。每个MDBSM就像一个人一样，他们彼此之间各有差异，在通信中为他们每个人加一个『外部处理软件模块』（提供通信检索与修改界面），每个人可以协调工作。==优点==：分开管理多媒体数据库，利用现成研究结果组装。每一种数据库的设计不必考虑与其他的协调区别。==缺点==：对多媒体数据的联合操作，概念查询，合成处理较难实现。

5. 数据模型的三要素

 1. 数据模型通常由『数据结构』、『数据操作』和『完整性约束』三部分组成，即数据模型 三要素。详情见PPT六24

6. 基于内容的检索技术

 1. 特点： 从媒体内容中提取信息线索，直接对媒体进行分析，抽取特征(如基于表达式)。

 2. 提取特征方法多种多样。如图像特征有形状、颜色、纹理、轮廓等特征。

 3. 人机交互。人能迅速分辨要查找的信息，但难以记住信息， 人工大量查询费时、重复， 而这正是计算机的长处， 人机交互检索可大大提高多媒体数据检索的效率。

 4. 基于内容的检索采用一种近似的匹配技术。检索中，长采用逐步求精的方法，每一层的中间结果是一个集合，不断减少集合的范围，直到定位到查找的目标。一般数据库检索采用格式化信息精确匹配的方法。

 5. 提取媒体对象内容属性的方式一般有手工方式、自动方式和混合方式。

7. 基于内容的检索是根据媒体对象的语义和上下文联系进行检索。