目录
一、实验原理
1)理解感知音频编码的设计思想
(1)等响度曲线
(1)两个声音响度级相同,但强度不一定相同,还与频率有关;
(2)声压级越高,等响度曲线趋于平坦;
(3)人耳对3~4KHz的声音感觉最灵敏。
(2)频域掩蔽域随声压级变化曲线
一个高强度纯音会使得该频率附近的最小可听阈曲线提升,掩蔽掉在其下的(原本能听到的)声音。这个纯音称为掩蔽声,掩蔽声存在时,音调音刚刚能被听到时的阈值称为掩蔽阈值。
掩蔽曲线具有以下特点:
不对称,高频一端的斜率绝对值更小;
低频音易对高频音产生掩蔽;
掩蔽声强度越高、频率越高,掩蔽的频率范围越宽。
2)理解心理声学模型的实现方法
(1)临界频带(Critical Band)
当某个纯音被以它为中心频率、且具有一定带宽的连续噪声所掩蔽时,如果该纯音刚好被听到时的功率等于这一频带内的噪声功率,这个带宽为临界频带宽度;
使噪声的中心频率等于信号频率,只改变噪声的带宽同时保持噪声的功率谱密度不变,测试纯音听阈随掩蔽噪声带宽变化的特性。
纯音的听阈随掩蔽噪声带宽的增大而增大,在带宽增大到某一特定值之后听阈保持恒定不变。
其单位为Bark,代表一个临界频带的宽度。
通常认为,在20 Hz—16 kHz的范围内有25个临界频带(500 Hz以下每个临界频带的带宽大约是100 Hz,500 Hz以上的临界频带带宽逐渐增加)。
(2)频掩蔽值计算的思路
Lutfi 对多个掩蔽音同时存在时的综合掩蔽效果进行了研究:每个掩蔽音的掩蔽效果先独立变换然后再线性相加。
3)人类听觉系统
人类听觉系统可以大致等效为在0 Hz—20 kHz范围内的25个重叠的带通滤波器组。
人耳在噪声中听某一纯音信号时,只启用中心频率与信号频率相同的那个听觉滤波器,且只有纯音信号和在通带范围内的部分信号可通过该滤波器。只有通过该滤波器的噪声才对掩蔽起作用;
聆听复音时启动多个听觉滤波器。听觉能够计算各滤波器输出端的信噪比。当信噪比达到或者超过听阈因子时,即可听到该频率成分。
二、MPEG-1音频压缩编码
MPEG-1中采用了感知音频编码,Layer II的编码器框图如下。
多相滤波器
数字音频信号通过一个多相滤波器组,变换成32个等宽频带子带,使得信号具有较高的时间分辨率,确保在短暂冲击信号的情况下,编码的声音信号具有足够高的质量。
滤波器组的输出是临界频带经过量化的系数样值。若一个子带覆盖多个临界频带,则选择具有最小NMR的临界频带来计算分配给子带的比特数。
心理声学模型
◼ 通过子带分析滤波器组使信号具有高的时间分辨率,确保在短暂冲击信号情况下,编码的声音信号具有足够高的质量。
◼ 又可以使信号通过FFT运算具有高的频率分辨率,因为掩蔽阈值是从功率谱密度推出来的。
◼ 在低频子带中,为了保护音调和共振峰的结构,就要求用较小的量化阶、较多的量化级数,即分配较多的位数来表示样本值。而话音中的摩擦音和类似噪声的声音,通常出现在高频子带中,对它分配较少的位数。
量化和动态bit分配
比特分配:对每个子带计算掩噪比NMR (dB) = 信噪比SNR - 信掩比SMR,然后找出其中具有最低NMR的子带,并给该子带多分配一些比特,然后重新计算NMR,继续分配,重复该步骤,直至没有比特可以分配。这样可以使得在满足比特率和掩蔽要求的前提下,使NMR最小;
比特分配的过程使整个一帧和每个子带的总噪声-掩蔽比最小。这是一个循环过程,每一次循环使获益最大的子带的量化级别增加一级,当然所用比特数不能超过一帧所能ᨀ供的最大数目
帧比特流形成
其中每个子带中前后相邻的连续36个样值(3组12个样值)共用在这个子带比特分配值,36个样值中的同一组样值共用该组的比例因子;
同一时刻的32个子带样值放在一起;
Layer II每帧包含1152个PCM样值(为Layer I的三倍);
若取样频率为48 kHz,一帧相当于1152 / 48k = 24 ms的声音样值,因此Layer II的精确度为24 ms(为Layer I的三倍,因而更精确)。
三、实验代码 ---- MPEG-1 Audio Layer II编码器编码流程
main函数关键步骤的实现:
int main (int argc, char **argv)
{
typedef double SBS[2][3][SCALE_BLOCK][SBLIMIT];
SBS *sb_sample;
typedef double JSBS[3][SCALE_BLOCK][SBLIMIT];
JSBS *j_sample;
typedef double IN[2][HAN_SIZE];
IN *win_que;
typedef unsigned int SUB[2][3][SCALE_BLOCK][SBLIMIT];
SUB *subband;
frame_info frame;//包含头信息、比特分配表、子带数等信息
frame_header header;//包含头信息
char original_file_name[MAX_NAME_SIZE];//输入文件名
char encoded_file_name[MAX_NAME_SIZE];//输出文件名
short **win_buf;
static short buffer[2][1152];
static unsigned int bit_alloc[2][SBLIMIT], scfsi[2][SBLIMIT];//存放两个声道各子带的比特分配表,SBLIMIT=32即32个子带
static unsigned int scalar[2][3][SBLIMIT], j_scale[3][SBLIMIT];//存放各子带每组12个样值的比例因子
static double smr[2][SBLIMIT], lgmin[2][SBLIMIT], max_sc[2][SBLIMIT];
// FLOAT snr32[32];
short sam[2][1344]; /* was [1056]; */
int model, nch, error_protection;
static unsigned int crc;
int sb, ch, adb;
unsigned long frameBits, sentBits = 0;
unsigned long num_samples;
int lg_frame;
int i;
/* Used to keep the SNR values for the fast/quick psy models */
static FLOAT smrdef[2][32];
static int psycount = 0;
extern int minimum;
time_t start_time, end_time;
int total_time;
sb_sample = (SBS *) mem_alloc (sizeof (SBS), "sb_sample");
j_sample = (JSBS *) mem_alloc (sizeof (JSBS), "j_sample");
win_que = (IN *) mem_alloc (sizeof (IN), "Win_que");
subband = (SUB *) mem_alloc (sizeof (SUB), "subband");
win_buf = (short **) mem_alloc (sizeof (short *) * 2, "win_buf");
/* clear buffers */
memset ((char *) buffer, 0, sizeof (buffer));
memset ((char *) bit_alloc, 0, sizeof (bit_alloc));
memset ((char *) scalar, 0, sizeof (scalar));
memset ((char *) j_scale, 0, sizeof (j_scale));
memset ((char *) scfsi, 0, sizeof (scfsi));
memset ((char *) smr, 0, sizeof (smr));
memset ((char *) lgmin, 0, sizeof (lgmin));
memset ((char *) max_sc, 0, sizeof (max_sc));
memset ((char *) sam, 0, sizeof (sam));
global_init ();//初始化
header.extension = 0;
frame.header = &header;
frame.tab_num = -1; /* no table loaded */
frame.alloc = NULL;
header.version = MPEG_AUDIO_ID; /* Default: MPEG-1 */
total_time = 0;
time(&start_time);
programName = argv[0];
if (argc == 1) /* no command-line args */
short_usage ();
else
parse_args (argc, argv, &frame, &model, &num_samples, original_file_name,
encoded_file_name);
print_config (&frame, &model, original_file_name, encoded_file_name);
//输出配置信息等内容
/* this will load the alloc tables and do some other stuff */
hdr_to_frps (&frame);
nch = frame.nch;
error_protection = header.error_protection;
//从数据流获取音频
while (get_audio (musicin, buffer, num_samples, nch, &header) > 0) {
if (glopts.verbosity > 1)
if (++frameNum % 10 == 0)
fprintf (stderr, "[%4u]\r", frameNum);
fflush (stderr);
win_buf[0] = &buffer[0][0];
win_buf[1] = &buffer[1][0];
adb = available_bits (&header, &glopts);//比特分配计算
lg_frame = adb / 8;
if (header.dab_extension) {
/* in 24 kHz we always have 4 bytes */
if (header.sampling_frequency == 1)
header.dab_extension = 4;
/* You must have one frame in memory if you are in DAB mode */
/* in conformity of the norme ETS 300 401 http://www.etsi.org */
/* see bitstream.c */
if (frameNum == 1)
minimum = lg_frame + MINIMUM;
adb -= header.dab_extension * 8 + header.dab_length * 8 + 16;
}
{
int gr, bl, ch;
/* New polyphase filter
Combines windowing and filtering. Ricardo Feb'03 */
for( gr = 0; gr < 3; gr++ )
for ( bl = 0; bl < 12; bl++ )
for ( ch = 0; ch < nch; ch++ )
WindowFilterSubband( &buffer[ch][gr * 12 * 32 + 32 * bl], ch,
&(*sb_sample)[ch][gr][bl][0] );
}
四、实验结果
选择三个不同特性的音频文件,输出某数据帧的相关内容
音乐
文件名: 'music.WAV
采样率: 44.1 kHz
目标码率: 192 kbps
bits allocated in the frame No.1 is 5008
---------音频信息---------
该音频声道数:1
观测第 1 帧
本帧比特预算:8 bits
--------------------------------比例因子---------
— 声道 1 ----
子带[ 1]: 11 11 11
子带[ 2]: 12 12 12
子带[ 3]: 21 18 18
子带[ 4]: 25 25 25
子带[ 5]: 29 29 29
子带[ 6]: 28 23 26
子带[ 7]: 22 22 22
子带[ 8]: 21 21 21
子带[ 9]: 32 28 28
子带[10]: 34 30 30
子带[11]: 31 31 31
子带[12]: 30 30 26
子带[13]: 27 24 24
子带[14]: 23 23 23
子带[15]: 26 22 25
子带[16]: 30 25 25
子带[17]: 26 26 26
子带[18]: 29 29 29
子带[19]: 31 31 30
子带[20]: 26 26 26
子带[21]: 34 34 31
子带[22]: 34 31 31
子带[23]: 38 38 38
子带[24]: 39 50 50
子带[25]: 43 51 57
子带[26]: 41 54 54
子带[27]: 45 52 52
子带[28]: 42 54 54
子带[29]: 44 52 52
子带[30]: 43 52 52
--------- 比特分配表 ---------
— 声道 1 —
子带[ 1]: 8
子带[ 2]: 8
子带[ 3]: 6
子带[ 4]: 8
子带[ 5]: 7
子带[ 6]: 8
子带[ 7]: 8
子带[ 8]: 6
子带[ 9]: 5
子带[10]: 6
子带[11]: 6
子带[12]: 7
子带[13]: 6
子带[14]: 6
子带[15]: 6
子带[16]: 5
子带[17]: 5
子带[18]: 5
子带[19]: 4
子带[20]: 6
子带[21]: 3
子带[22]: 3
子带[23]: 0
子带[24]: 0
子带[25]: 0
子带[26]: 0
子带[27]: 0
子带[28]: 0
子带[29]: 0
子带[30]: 0
噪声
噪声为使用MATLAB产生的高斯白噪声。
文件名: 'noise.m4a
采样率: 44.1 kHz
目标码率: 192 kbps
bits allocated in the frame No.1 is 5008
---------音频信息---------
该音频声道数:2
观测第 1 帧
本帧比特预算:4 bits
--------------------------------比例因子---------
— 声道 1 ----
子带[ 1]: 7 11 3
子带[ 2]: 10 15 7
子带[ 3]: 12 16 13
子带[ 4]: 12 21 10
子带[ 5]: 12 17 17
子带[ 6]: 11 17 12
子带[ 7]: 13 17 17
子带[ 8]: 11 14 14
子带[ 9]: 14 14 14
子带[10]: 14 14 14
子带[11]: 14 14 14
子带[12]: 15 15 15
子带[13]: 11 16 16
子带[14]: 11 11 17
子带[15]: 13 13 13
子带[16]: 14 14 14
子带[17]: 14 14 14
子带[18]: 13 13 13
子带[19]: 13 16 20
子带[20]: 13 17 17
子带[21]: 14 14 14
子带[22]: 11 15 15
子带[23]: 14 18 21
子带[24]: 14 14 14
子带[25]: 11 15 18
子带[26]: 13 13 19
子带[27]: 12 15 15
子带[28]: 13 13 13
子带[29]: 13 17 17
子带[30]: 14 14 21
— 声道 2 ----
子带[ 1]: 6 2 2
子带[ 2]: 10 3 7
子带[ 3]: 12 12 12
子带[ 4]: 10 10 10
子带[ 5]: 10 10 18
子带[ 6]: 12 9 12
子带[ 7]: 12 12 12
子带[ 8]: 10 10 10
子带[ 9]: 15 8 16
子带[10]: 14 14 14
子带[11]: 13 10 16
子带[12]: 13 10 18
子带[13]: 10 13 16
子带[14]: 12 12 16
子带[15]: 17 14 14
子带[16]: 14 14 14
子带[17]: 12 12 12
子带[18]: 13 13 17
子带[19]: 13 13 13
子带[20]: 10 10 10
子带[21]: 15 12 20
子带[22]: 12 12 12
子带[23]: 13 13 13
子带[24]: 13 13 21
子带[25]: 12 12 16
子带[26]: 14 14 20
子带[27]: 12 12 12
子带[28]: 14 14 14
子带[29]: 12 12 18
子带[30]: 13 13 13
--------- 比特分配表 ---------
— 声道 1 —
子带[ 1]: 7
子带[ 2]: 6
子带[ 3]: 4
子带[ 4]: 6
子带[ 5]: 5
子带[ 6]: 5
子带[ 7]: 4
子带[ 8]: 5
子带[ 9]: 4
子带[10]: 4
子带[11]: 3
子带[12]: 3
子带[13]: 4
子带[14]: 4
子带[15]: 3
子带[16]: 2
子带[17]: 3
子带[18]: 3
子带[19]: 3
子带[20]: 2
子带[21]: 1
子带[22]: 3
子带[23]: 2
子带[24]: 2
子带[25]: 2
子带[26]: 1
子带[27]: 2
子带[28]: 1
子带[29]: 2
子带[30]: 0
— 声道 2 —
子带[ 1]: 4
子带[ 2]: 4
子带[ 3]: 3
子带[ 4]: 5
子带[ 5]: 5
子带[ 6]: 5
子带[ 7]: 4
子带[ 8]: 5
子带[ 9]: 4
子带[10]: 4
子带[11]: 3
子带[12]: 3
子带[13]: 4
子带[14]: 4
子带[15]: 3
子带[16]: 2
子带[17]: 3
子带[18]: 3
子带[19]: 3
子带[20]: 2
子带[21]: 1
子带[22]: 3
子带[23]: 2
子带[24]: 2
子带[25]: 2
子带[26]: 1
子带[27]: 2
子带[28]: 1
子带[29]: 2
子带[30]: 0
音乐+噪声
使用MATLAB在乐音波形上叠加高斯白噪声。
文件名: 'music+noise.WAV
采样率: 44.1 kHz
目标码率: 192 kbps
bits allocated in the frame No.1 is 5008
---------音频信息---------
该音频声道数:1
观测第 1 帧
本帧比特预算:17 bits
--------------------------------比例因子---------
— 声道 1 ----
子带[ 1]: 10 10 10
子带[ 2]: 10 10 10
子带[ 3]: 11 11 11
子带[ 4]: 10 10 10
子带[ 5]: 15 9 9
子带[ 6]: 11 11 11
子带[ 7]: 11 11 11
子带[ 8]: 12 12 12
子带[ 9]: 11 11 11
子带[10]: 11 11 11
子带[11]: 12 12 10
子带[12]: 13 10 10
子带[13]: 11 11 11
子带[14]: 12 12 9
子带[15]: 12 12 12
子带[16]: 11 11 11
子带[17]: 11 11 11
子带[18]: 12 12 12
子带[19]: 12 8 8
子带[20]: 12 12 9
子带[21]: 9 9 9
子带[22]: 13 7 7
子带[23]: 15 11 11
子带[24]: 11 11 11
子带[25]: 12 12 12
子带[26]: 11 11 11
子带[27]: 15 12 12
子带[28]: 12 12 12
子带[29]: 14 11 11
子带[30]: 11 11 11
--------- 比特分配表 ---------
— 声道 1 —
子带[ 1]: 7
子带[ 2]: 8
子带[ 3]: 7
子带[ 4]: 8
子带[ 5]: 6
子带[ 6]: 6
子带[ 7]: 6
子带[ 8]: 5
子带[ 9]: 5
子带[10]: 5
子带[11]: 5
子带[12]: 3
子带[13]: 3
子带[14]: 3
子带[15]: 3
子带[16]: 3
子带[17]: 3
子带[18]: 3
子带[19]: 3
子带[20]: 3
子带[21]: 3
子带[22]: 3
子带[23]: 3
子带[24]: 3
子带[25]: 3
子带[26]: 3
子带[27]: 3
子带[28]: 3
子带[29]: 3
子带[30]: 3
五、实验分析
(1)基于感知编码,声音信号在时域上非均匀分布,小幅度的样值比大幅度的样值出现的概率高;在频域上功率谱密度非均匀,低频能量高、高频能量低。
(2)多相滤波器组与其可逆过程不是无失真的,但滤波器组引入的误差很小,且听不到。
(3)32个子带是均匀分的,等带宽的滤波器组与人耳听觉系统的临界频带不对应。
(4)MPEG的效果取决于人耳声学模型的设计。