音频压缩
消除冗余信息 - 20HZ以下,2万HZ以上的数据人不敏感,属于无效 有损压缩
无损压缩
音频有损压缩
音频冗余信息
音频压缩技术是在保证信号在听觉方面不失真的前提下,对音频数据信号进行尽可能大的压缩。
压缩的主要方法是去除采集到的音频荣冗余信息。所谓冗余信息包括人耳听觉范围外20HZ~2万HZ的音频信号以及被掩盖掉的音频信号。
信号的遮蔽可以分为频域遮蔽和时域遮蔽
频域遮蔽效应即简单来说就是在频率相近的情况下,强度大的遮蔽强度小的,但是无法遮蔽频率不相近的,哪怕是强度明显大于其强度
时域遮蔽效应,即强度大的会遮蔽前后一定时间内其他小强度的声音。
音频无损压缩
熵编码-代指无损编码
哈夫曼编码->用很小的一串0和1的二进制数代替一个特别长的字符,用小的代替长的,频率越高的编码越小,频率越低的编码越长
算术编码->通过二进制的小数进行编码
香农编码->算术编码就是在香农编码的基础上改进而来的
时域转频域变换:将时域一块长时间的数据交给模块转换为频域,转换成多种频段的数据,便于拆出哪些是需要的数据,哪些是不需要的。
心理声学模型:去掉20HZ~2万HZ之外的,以及一些被遮蔽的声音
常见的音频编码器
常见的音频编码器包括OPUS、AAC、Ogg、Speex、iLBC、AMR、G.711等
OPUS:在线教育、音视频会议常用,延迟小压缩率高等优点,近些年比较突出。OPUS是较新的音编码器,WebRTC中默认使用。
AAC:目前应用最广泛的编解码器,用于IOS、安卓系统、嵌入式设备等都包含了硬件的AAC编解码,ffmpeg中也有很多的AAC编解码器。AAC在直播系统中应用广泛。
Ogg:收费,应用不是太广泛
Speex:在OPUS和AAC出现前使用广泛,有一个很好的优点,包括了回音消除的功能。
G.711:一般用于固话,窄带音频,编解码后的数据非常小,但是声音损耗严重
网上评测结果:OPUS > AAC > Ogg
纵轴是质量,横轴是码流大小
纵轴是延迟性,横轴是码率
AAC编码器介绍
AAC介绍
AAC(Advanced Audio Coding)由Fraunhofer IIS、杜比实验室、AT&T、Sony等公司共同研发,目的是取代MP3格式。
最开始是基于MPEG-2的音频编码技术,MPEG-4标准出现后,AAC重新集成了其特性,加入了SBR和PS技术。
目前常用的规格有AAC LC、AAC HE V1、AAC HE V2
图中蓝色的AAV HE V2 是误笔,实际上是AAC HE V2
AAC 规格描述
AAC LC:(Low Complexity)低复杂度规格,码流是128k,音质好。
AAC HE :等于AAC LC + SBR(Spectral Band Replication)。其核心思想是按频谱分开保存,低频编码保存主要成分,高频单独放大编码保存音质。码流在64k左右。
AAC HE V2:等于AAC LC + SBR + PS(Parametric Stereo)。其核心思想是双声道中的声音存在某种相似性,只需存储一个声道的全部信息,然后花很少的字节用参数描述另一个声道和她不同的地方。
AAC格式
ADIF(Audio Data Interchange Format)
这种格式的特征是可以确定的找到这个音频数据的开始,只能从头开始解码,不能在音频数据流中开始。这种格式常用在磁盘文件中。
相当于AAC数据加了一个头,解码AAC文件时先对头进行解析,拿到所有的参数信息,通过参数进行解码
ADTS(Transport Stream)
这种流的格式特征是每一帧都有一个同步字,所以可以在音频流的任何位置开始解码。它类似于数据流格式。
二者最本质的区别在于,ADIF只可以从头播放,如果播放前进行拖拽进度,或者中间进行拖拽进度,由于找不到头信息,会无法播放,但是ADTS因为每一帧都有同步字,所以拖拽后可以向后寻找头信息进行播放。
ADTS结构
Audio Object Types
1:AAC Main
2:AAC LC
…
5:SBR
…
29:PS
…
序号从1开始,真正编码中要减一
所以从数据中读出来数字1时要加一,即取2,也就是AAC LC,这是因为解析的数据是经过处理的,而在处理时做了减一操作,所以要在此进行复原。
Sampling Frequecy Index
-
0:96000 Hz
-
1:88200Hz
-
2:64000Hz
-
3:48000Hz
-
4:44100Hz
-
5:32000Hz
-
6:24000Hz
-
7:22050Hz
-
8:16000Hz
-
9:12000Hz
-
10:11025Hz
-
11:8000Hz
-
12:7350Hz
-
13:Reserved
-
14:ReservedHz
-
15:frequency is written explictly
工具解析网址:http://www.p23.nl/projects/aac-header/
这是一个在线解析ADTS头的网址,输入头进行解析。
在实际使用中ADTS这类的头在ffmpeg中有相应的API使用,也可以ffmpeg全线接管
通过ffmpeg命令生成AAC文件
如下命令:
ffmpeg -i xxx.mp4
-vn -c:a libfdk_aac
-ar 44100 -channels 2 -profile:a aac_he_v2 3.aac
参数:
-i-> 输入多媒体文件,一定要包含音频数据,因为要获取aac,并重新编码
-vn-> v代表vedio,n代表no,-vn过滤视频
-c->代表codec,即编码,a代表audio即使用音频编码器 指定音频编码器libfdk_aac,libfdk_aac是当前众多aac编解码器中性能最好的
-ar->代表代表音频采样率
-channels->代表双声道,即左右声道
-profile->对libfdk_aac编解码器设置一些参数,在profile中指定a即对音频的设置,设置为aac_he_v2,也可以直接设为aac_he_v1、aac
最后输出aac文件名xxx.aac
ffmpeg的音频编解码器参数参考网址:
http://ffmpeg.org/ffmpeg-codecs.html#libfdk_005faac