多媒体技术复习整理

多媒体技术复习

1. 常见文件：wav文件是波形文件，MPEG文件是视频文件，MIDI是电子音乐文件，记录控制命令

2. 信息媒体的类型：感知媒体，显示媒体，表示媒体，传输媒体，存储媒体

3. 多媒体的特征有很多（多维化、实时性、交互性、数字化、集成性），本质特征：交互性。

4. 多媒体的技术很多（数据压缩技术、基于内容的多媒体处理技术、专用芯片技数据存储与传输技术），关键技术：压缩编码技术

5. 声卡：单声道，采样频率，量化位数，采样时间，算采集到的数据（计算）（PCM的频率是8000）

6. 奈奎斯特抽样定理：要想抽样后不失真地还原出原信号，抽样频率必须大于两倍信号谱的最高频率。

7. 有哪些冗余？空间冗余（相邻区域的灰度和颜色）、时间冗余（相邻帧或音域间相同）、熵冗余（编码符号序列中的码字冗余）

8. 压缩比越大，压完越小，压完后的质量越差。

9. （计算）行程编码、哈夫曼编码、算术编码

10. 哈夫曼编码适用于非均匀概率分布的信源编码，算术编码适用于均匀概率分布的信源编码。

11. 非均匀量化：大信号采用大的量化间隔，小信号采用小的量化间隔。这样能够在满足精度要求的同时采用较小的位数来显示。（尽可能提供较多的信息）

12. PCM、APCM、DPCM、ADPCM各自的思路和解决的问题。

13. PCM是脉冲编码调制。步骤：采样-》量化-》编码。

14. APCM是自适应脉冲编码调制，根据输入信号幅度的大小来改变量化阶大小。分为前向自适应和后向自适应。

15. DPCM是差分脉冲调制编码调制。利用样本与样本之间的信息冗余度进行编码，即根据过去的样本估算下一个样本信号的幅度大小，称为预测值，对实际信号值和预测值之差进行量化编码。

16. ADPCM是自适应差分脉冲调制编码调制。

    1. 利用自适应的思想去改变量化阶的大小，用小的量化阶来编码小的差值，大的量化阶去编码大的差值。
    2. 使用过去的样本值估算下一个输入样本的预测值，使得实际样本值和预测值之间的差值总是最小。

17. PCM、子带、线性预测这三类方法的思路各有什么不同?

    1. 子带编码的基本思想：把输入音频信号的频带分成若干个连续的子带，对每个子带中的音频信号采用单独的编码方案去编码。在接收端将每个子带的编码单独编码，然后把它们组合起来，还原成原来的音频信号。
    2. 因为话音信号具有短时间内的相关性，所以可以通过分析话音产生声道参数，对这些参数进行编码。用线性预测器对过去的样本值来预测现时刻的采样值，预测值可以通过过去P个样本值的线性组合来表示。

18. 颜色和颜色空间有哪些？它们的适用范围？

    1. RGB：适用于显示器信号
    2. HSI：适用于人眼识别
    3. CMY：适用于彩色印刷
    4. YUV：适用于电视信号9

19. （计算）CMY和RGB的转化（归一化、非归一化）；YUV和RGB的转换（矩阵相乘）

20. （计算）数据量=水平分辨率垂直分辨率显示深度，算出的单位是bit，➗8变成byte，再除以1024转换成kb。

21. （计算，同上题）给个图像给分辨率，算子采样后的数据量是多少？

    1. 4：2：0： 二分之一
    2. 4：1：1 ：二分之一
    3. 4：2：2： 三分之二

22. 请描述JPEG压缩编码的算法步骤以及可选方式。

    1. DCT变换。对每个单独的图像分量，将整个分量分成8*8的图像块，对每个图像块进行离散余弦变换的输入。
    2. 量化。对DCT变换后的频率系数进行量化。根据系数所在的位置和每种颜色分量的色调值来决定。关键是找到最小量化失真的量化器，JPEG对64个DCT系数除以量化步长，然后四舍五入取整。
    3. Z字形编排。对交流系数，将88矩阵变成164的矢量。
    4. 对直流系数进行差分脉冲调制编码。
    5. 对交流系数进行行程编码。
    6. 对DC、AC码进行熵编码。

23. 有哪些拓展操作？

    1. 基于DCT的累进操作方式 累进方式可选：频谱选择法、按位逼近法。在量化器的输出端和熵编码的输入端之间，增加一个缓冲区，来多次扫描，分批编码。
    2. 基于DCT的分层操作方式

24. 分层的原理？描述思路。
    1. 原理：对一幅原始图像的空间分辨率分成多个分辨率进行锥形编码方法，水平垂直的分辨率的下降以2的倍数因子改变。
    2. 把原始图像空间分辨率降低。
    3. 对已降分辨率的图像采用DCT的顺序方式、累进方式、无失真预测编码中任何一种编码方式进行编码。
    4. 对低分辨率的图像解码。重建图像，使用插值滤波器，对它插值，升高图像的水平垂直分辨率
    5. 把分辨率已升高的图像作为原始图像的预测值，对他们的差值采用基于DCT的顺序方式、累进方式或用无失真方式重新编码
    6. 重复45直到图像达到完整的分辨率编码。

25. I帧、P帧、B帧的顺序？各自有什么特点？各自去除了什么冗余？
    1. 顺序：
    1. 在显示视频中：IBBPBBP
    2. 在编码中：IPBBIPBB
    2. 特点：
    1. I帧：帧内图，随机存取的位置，压缩比不大（空间冗余）
    2. P帧：预测帧，用先前的I或P参考预测（时间冗余）
    3. B帧：插补帧，根据先前和后续的信息，不能做其他参考帧（时间冗余）

26. 运动补偿是？
    通过先前的局部图像来预测、补偿当前的局部图像，把对像素的编码转换成残差图像，算残差图像的运动向量。

27. 多媒体通信服务质量有哪些指标：吞吐量、延时、延时抖动和差错率、服务可用性等。其中抖动可以用缓存的方式来解决。

28. TCP、UDP的特点，多媒体使用UDP

29. 与多媒体密切相关协议：
    IPv6：突出了对QOS的支持

30. RTP，RTCP，RTSP，RSVP基本的功能，在哪一层
    1. RTP实时传输协议在应用层，提供端到端的运输
    2. RTCP是与RTP配合使用的，在应用层，为应用程序提供会话质量或广播性能质量的信息。
    3. RTSP在应用层，是多媒体播放控制协议。
    4. RSVP在传输层，允许应用程序为数据流保留贷款。

31. 综合服务和区分服务，RSVP保障综合服务，不容易实现。

32. 每层举出一两个例子：
    1. 应用层：RTP、RTCP、RTSP
    2. 传输层：RSVP、UDP
    3. 网络层：IPv6