STFT和声谱图,梅尔频谱(Mel Bank Features)与梅尔倒谱(MFCCs)

最近小编在做ASC(Acoustic Scene Classification)问题,不管是用传统的GMM模型,还是用机器学习中的SVM或神经网络模型,提取声音特征都是第一步。梅尔频谱和梅尔倒谱就是使用非常广泛的声音特征形式,小编与它们斗争已有一段时间了,在此总结一下使用它们的经验。

STFT和声谱图(Spectrogram)

声音信号本是一维的时域信号,直观上很难看出频率变化规律。如果通过傅里叶变换把它变到频域上,虽然可以看出信号的频率分布,但是丢失了时域信息,无法看出频率分布随时间的变化。为了解决这个问题,很多时频分析手段应运而生。短时傅里叶,小波,Wigner分布等都是常用的时频域分析方法。

短时傅里叶变换(STFT)是最经典的时频域分析方法。傅里叶变换(FT)想必大家都不陌生,这里不做专门介绍。所谓短时傅里叶变换,顾名思义,是对短时的信号做傅里叶变化。那么短时的信号怎么得到的? 是长时的信号分帧得来的。这么一想,STFT的原理非常简单,把一段长信号分帧、加窗,再对每一帧做傅里叶变换(FFT),最后把每一帧的结果沿另一个维度堆叠起来,得到类似于一幅图的二维信号形式。如果我们原始信号是声音信号,那么通过STFT展开得到的二维信号就是所谓的声谱图。
声谱图示意图

有很多工具方便地支持STFT展开,如果你是和小编一样是python爱好者,可以使用scipy库中的signal模块。如果你想做STFT分解的音频信号(wav文件)的路径存在path变量中,可通过下面的代码得到STFT数据。

import wavio
import numpy as np
from scipy import signal
在MATLAB中绘制梅尔频谱,可以按照以下步骤进行: 1. 首先,将音频信号加载到MATLAB中。你可以使用`audioread`函数来读取音频文件或直接使用已有的音频信号。 2. 将音频信号通过短时傅里叶变换(STFT)转换为时频表示。你可以使用`spectrogram`函数来实现这一步骤。 ```matlab [s, fs] = audioread('your_audio_file.wav'); % 读取音频文件,s为音频信号,fs为采样率 window = hamming(window_length); % 定义窗函数,例如汉明窗 noverlap = window_length - hop_size; % 计算重叠的样本数 [S, f, t] = spectrogram(s, window, noverlap, NFFT, fs); % 进行短时傅里叶变换 ``` 其中,`window_length`是窗口的长度,`hop_size`是帧移的样本数,`NFFT`是FFT的点数。 3. 计算梅尔滤波器组的中心频率。你可以使用以下代码计算梅尔滤波器组的中心频率: ```matlab num_filters = 26; % 梅尔滤波器的数量 f_min = 0; % 最低频率 f_max = fs/2; % 最高频率 mel_min = hz2mel(f_min); % 将最低频率转换为梅尔频率 mel_max = hz2mel(f_max); % 将最高频率转换为梅尔频率 mel_centers = linspace(mel_min, mel_max, num_filters+2); % 在梅尔频率上均匀分布滤波器中心 ``` 其中,`hz2mel`是将赫兹频率转换为梅尔频率的函数。 4. 将频谱转换为梅尔频谱。你可以使用以下代码将频谱转换为梅尔频谱: ```matlab mel_filters = melFilterBank(fs, NFFT, mel_centers); % 计算梅尔滤波器组 mel_spectrum = mel_filters * abs(S); % 将频谱乘以梅尔滤波器组 ``` 其中,`melFilterBank`是一个自定义函数,用于计算梅尔滤波器组。 5. 绘制梅尔频谱。你可以使用以下代码绘制梅尔频谱: ```matlab figure; imagesc(t, mel_centers, 10*log10(mel_spectrum)); % 绘制梅尔频谱 axis xy; % 设置y轴方向为正方向 xlabel('时间(秒)'); ylabel('梅尔频率(Hz)'); colorbar; % 添加颜色条 ``` 这样,你就可以在MATLAB中绘制出梅尔频谱了。注意,上述代码中的函数和变量名仅供参考,具体实现需要根据你的需求进行调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值