多媒体信息的编码

多媒体信息的编码

数字化:将外部信息转化成二进制的代码存储
模拟信号 ——> 数字信号 ——> 计算机内部 ——> 模拟信号

音频

声音是振动的波，复杂的声波由许多具有不同振幅的频率的正弦波组成

音频处理过程:采样->量化->编码(PCM)->压缩

A/D转换

模拟信号转化为数字信号就是A/D转换

流程:采样、量化、编码、压缩

1. 采样：每隔一定的时间在声音波形上取一个幅度值，在时间上的连续信号变成离散信号每秒采样的样本数称为采样率，单位:HZ
2. 量化: 将每采集的每个样本点得到的幅度值以二进制数存储采样精度，单位：Bit
3. 编码：一般采用PCM编码(音质好，失真小，数据量大)
4. 压缩: 对音频信息进行压缩节省存储空间

通常来说，采样率越高，量化位数越大，声音质量越好，存储空间越大

D/A转换

数字信号转化为模拟信号就是D/A转换

奈奎斯特采样定理

如果采样的频率是源信号中最高频率的2倍以上，则可以不失真地获取所有信息

人的耳朵听阈范围在20~20KHZ之间，因此当采样率达到40KHZ，则可以无损失地保留人耳听阈范围的所有信息

存储大小

未压缩

• 码率：音频文件每秒钟的数据量

公式: 码率 = 声道数 * 采样频率 * 量化位数
单位: 采样频率单位:HZ、量化单位:bit、码率单位:bps

• 数据量

计算公式：数据量= 声道数 * 采样频率 * 量化位数* 长度(秒)/8
单位：Byte

压缩后

压缩的数据量 = 未压缩数据量/压缩比

音频格式

常见的音频格式有:WAV、MIDI、MP3、WMA、RA、FLAC等

• WAV文件
  .wav

1.直接记录真实声音的二进制采样数据,文件较大，用于存储简短的声音片段
2.直接保存未压缩的原始PCM编码，适用于需要对文件多次编辑

• MIDI文件
  .mid或.midi

1.存放的不是声音采样信息，是将乐器弹奏的每个音符记录为一串数字
2.MIDI通常比WAV文件小得多
3.一般WAV存放解说词，MIDI存放BGM

• MP3文件
  .mp3

1.MP3格式是采用MPEG音频压缩标准的有损压缩的文件
2.WAV和MIDI都可以压缩称MPEG格式文件

• WMA文件
  .wma

1.支持有损/无损压缩，压缩比高，音质较强MP3和RA格式，适合网络实时播放

• RA文件
  .ra

1.较高的压缩比，采用流媒体的方式在网上实时播放
2.采用特殊的协议隐匿文件真实网络地址，实现在线播放而不提供下载地址

• FLAC文件
  .flac

1.基于无损压缩的高品质音频编码压缩格式

图像

流程:采样、量化、编码、压缩
色彩的三要素:色相、明度和纯度
RGB:红、绿、蓝称三原色 每个通道位数为8位
CMYK：青、品红、黄、黑，8位一个基色

分辨率

分辨率单位是dpi,表示每英寸范围内像素数量

显示分辨率 = 列数(水平分辨率) * 行数(垂直分辨率)
打印分辨率= 长 * dpi *宽 * dpi

计算

未压缩

公式：数据量=长 * dpi *宽 *dpi*颜色深度(位)/8
单位:长和宽都是英寸，颜色深度单位是位,数据量单位是字节

压缩后

压缩后的数据量 = 未压缩的数据量/压缩比

图像格式

常见的图像格式包括BMP、JPEG、GIF、PNG、WMF、TIF、TGA和PSD等

• BMP文件
  .bmp

1.是window环境中经常使用的一种位图格式
2.这种格式支持真彩色(24bits和32bits)
3.几乎不进行压缩，磁盘占用空间大

• JPEG文件
  .jpg/.jpeg

1.JPEG格式压缩比高，压缩/解压缩算法复杂，因此存储和显示速度慢
2.同一副图像BMP格式的大小是JPEG格式的5~10倍
3.有损压缩

• JPEG2000
  .jp2/.jpf

1.使用JPEG2000格式,压缩率比JPEG高约30%
2.同时支持无损/有损压缩
3.采用渐进传输技术

• GIF文件
  .gif

1.GIF格式的特点是压缩比高、磁盘占用少，但是不能存储超过256色的图像
2.无损压缩，LZW压缩算法
3.类型 GIF87a:存储单幅静止图像 GIF89a:可以存储若干静止图像进而形成连续的动画

• png文件
  .png

1.流式图像文件，压缩比高，无损压缩，适合在网络中传播
2.支持Alpha通道透明图像制作
3.支持真彩色，不支持动画

• TIF文件
  .tif/.tiff

1.无损压缩,支持1~32bit彩色，多分辨率，多操作平台

• TGA文件
  .tga

1. 无损压缩,支持1~32bit彩色，96dpi，适合影视广播级的动画制作

• PSD文件
  .psd

1.photoshop软件默认存档格式
2.保存每个图层信息，所需存储空间大

图形

以矢量图形文件形式存储
不失真，占用空间小

图形格式

.ai、.dwg、.wmf

转换

1.矢量图形可以和位图相互转换
2.矢量图转换成位图，只需要保存格式设置为位图格式
3.位图转换成矢量图，通常需要借助其他软件实现

视频

视频是由一系列静态图像按一定的顺序排列组成，每一幅图像称为帧(Frame)

指标

帧速率

FPS，每秒播放的静态图像的张数
NTSC制帧速率为30帧/秒，PAL制帧速率25帧/秒
视频的分辨率和颜色深度取决于其每一帧静态图像的分辨率和颜色深度

计算

未压缩

公式：容量=帧速率*分辨率*颜色深度*视频长度/8
单位:颜色深度bit、视频长度秒、容量单位字节

压缩后

压缩的数据量 = 未压缩数据量/压缩比

视频格式

常见的视频格式有AVI、MOV、MPEG、RM、ASF、FLV和MKV等

• AVI文件
  .avi

AVI格式调用方便、图像质量好、压缩标准任意选择、目前应用最广泛

• MOV文件
  .mov

苹果公式在Quick Time for Windows视频应用程序中使用的音视频文件
MOV具有跨平台性

• MEPG文件
  .mpg/.mp4

支持流媒体，MEPG制定的高清视频编码格式

• FLV文件
  .flv

一种常见的在线传输和在线播放的流媒体压缩编码算法，其压缩比高

• RM文件
  .rm/rmrb

数据量小，但质量差

• ASF文件
  .asf/.wmv

为Windows操作系统开发的多媒体文件格式，是Windows Media的核心

• MKV文件
  .mkv

是一个多媒体容器和封装格式，理论上可以容纳无限量的视频、音频、图片、字幕轨道等内容

数据压缩技术

数据压缩的对象是数据，不是信息，真正有用的不是数据本身，而是数据所携带的信息

条件

数据包含冗余、人类不敏感因素、信息传输和存储

• 数据包含冗余
  原始数据通常存在很多用处不大的空间,通过数据压缩可以去除这些成分
• 人类不敏感因素
  人类对某些音频信号不敏感、人眼存在视觉掩盖效应
• 信息传输和存储
  传输前和存储前对数据进行压缩处理，传输到达后或读数据，再解压缩

评价标准

评价压缩算法好坏有4个标准

1. 压缩比
2. 恢复效果
3. 速度
4. 压缩开销