多媒体这一块水很深,入门级别很高,2015年前开始接触过一些多媒体,只了解一些简单基本的东西,下面主要介绍一些日常开发中一些用到的关键术语,帮助大家理解
数字媒体已经融入大家的生活,但是是否想过媒体内容最初是如何初步数字化的?我们显然已经处在一个数字化的时代,还我们还是更习惯模拟信息的世界。现实生活中的信号是连续的,信号的频率和强度是不断变化的,但是数字世界的信号是离散的,1和0两个状态表示。要将模拟信号转换成我们能够存储并传输的数字信号(摸拟-数字转换),这个过程称为采样。
数字媒体采样:
主要有两种方式:时间采样和空间采样
时间采样,捕捉一个信号一个信号周期内的变化,在录制期间你所有的单高变化和声调变化都会被捕捉一来,空间采样,用在图片数字化工其他可视化媒体内容数字化的过程中,对一幅图片在一定分辨率下捕捉其亮度和色度,进而创建图片的像素点数据所构成的数字化结果。当对一段视频进行数字化时,这两种方式都可用,因能通常视频信号既有空间属性又有时间属性。
音频采样,如麦克风设备头部,是薄薄的膜片,这个膜片连接缠绕着磁极的线圈,当你对着麦克风讲话时,膜片会根据其感受的声波进行振动,再依次带动线圈振动,产生同输入信号相同频率和振幅的电流信号,这个连续的信号转换成相应的离散形式。音频数字化过程包含一个编码方法,线性脉冲编码调制,比较常用的说法是Linear PCM,或LPCM,采样率低的数字信号无法很好表示原数据,就需提高采样频率。如捕捉音频素材的最高频率为10kHz,采样就需要该频率的2倍即20kHz.使用CD录制的音频采样是44.1kh,即捕捉到最大频率是22.05kHz,刚刚高过人耳能够识别的频率范围(20kHz).人耳可以接收到的音频范围(20Hz,20kHz)
数字压缩,为缩小数字媒体文件的大小,要用到压缩,可以大幅度缩小文件的尺寸,但在质量上有小幅可以衰减
色彩二次抽样,视频数据是使用称之为YCbCr,通常称为 YUV(UV是色彩通道,Y是亮度),我们常都熟悉RGB颜色模式,即每个像素都是由红,绿,蓝三个颜色合成。我们看到图片所有细节都何在亮度通道中,如果除去亮度,剩下的就是一幅灰度图片。由于人类的眼睛对亮度敏感度要高于颜色,之前的前辈们认识到,可以大幅度减少存储在每个像素中的颜色信息,而不到于图片的质量严得受损。
当每次看到摄像头规范和其他视频设备硬件或软件提到的4:4:4,4:2:2及其4:2:0时,这些值的含义就是这些设备所使用的色彩二次抽样的参数,根据这些值按如下格式将亮度比例表示为色度值,他们的格式j:a:b
J:几个关联色块(一般是4个)中所包含 的像素数
a:用来保存位于第一行中的每个J像素的色度像素个数
b:用来保存位于第二行中每个J像素的附加像素个数
为了维持图片质量,每个像互助点都需要各自的亮度值,去不一定需要色度值。在所有的格式下,每个像素的全部亮度信息都被保存下来,在4:4:4的比例下全彩色信息也被保存下来,在4:2:2的情况下色彩信息为每两个水平像素的平均值,即亮度和色度比率是2:1,在4:2:0下,色彩信息为水平和垂直两个方向的4个像素的平均值,结果是亮度和色度比率是:4:1
色彩二次抽样发生在取样时,一些专业的相机以4:4:4的参数捕捉图像,但大部分情况下对于图片的拍摄是使用4:2:2的方式进行的。iPhone手机上的摄像头,通常以4:2:0的方式进行拍摄。即使经过大量层级的二次抽样之后也仍然可能捕捉到高质量的图片,
视频编解码器压缩H.264,音频编解码器AAC 及容器封装格式 相关介绍下次再写。
H.264:
AAC:
容器格式: