STFT和声谱图，梅尔频谱（Mel Bank Features）与梅尔倒谱（MFCCs）

最新推荐文章于 2024-08-26 15:20:12 发布
最新推荐文章于 2024-08-26 15:20:12 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： 语音研究 文章标签： 语音相关
原文链接：https://blog.csdn.net/qq_28006327/article/details/59129110
版权

​

​ 最近读论文涉及到mel-spectrogram，虽然之前视听觉处理课上也有提到过，但发现我并不是十分了解。

​ 并且，不管是用传统的GMM模型，还是用机器学习中的SVM或神经网络模型，提取声音特征都是第一步。梅尔频谱和梅尔倒谱就是使用非常广泛的声音特征形式。

​ 通过这篇文章，我对此有了一定的了解，在此记录：STFT和声谱图，梅尔频谱（Mel Bank Features）与梅尔倒谱（MFCCs）

不卷CV了
关注
专栏目录
音频-特征提取：①幅度谱（短时傅里叶变换谱/STFT）、②梅尔频谱（mel-spectrogram）、③梅尔倒谱（MFCC）【在梅尔频谱上取对数，做DCT（离散余弦变换）变换，得梅尔倒谱】
u013250861的博客
07-16 3426
给定原始的音频信号，通过melspectrogram（）函数提取梅尔频谱，然后通过DCT离散余弦变换得到梅尔倒谱系数。Mel滤波器对应了频率提高之后人耳会迟钝的客观规律，所以Mel滤波器在人声的信号处理上有着广泛的使用，但是如果应用到非人声上，就会丢失很多高频信息。输入语音信号->预加重->分针->加窗->FFT（傅里叶变换）->Mel滤波器->对数运算->DCT(离散预先变换)->MFCC。这是MFCC（梅尔倒谱）的提取过程，而梅尔频谱则是经过Mel滤波器就直接输出的一个结果。..............
语音信号处理-概念（二）：幅度谱（短时傅里叶变换谱/STFT spectrum）、梅尔谱（Mel spectrum）【语音的深度学习主要用幅度谱、梅尔谱】【用librosa或torchaudio提取】
u013250861的博客
06-26 2511
一、语音的深度学习使用哪种谱？ 答：以amp spec和melspec为主，通常可以用librosa库或者torchaudio库进行提取。二、那Fbank、MFCC 呢？ 答：由于其蕴含信息较少，已经不适合这个大数据时代。但有些任务由于其本身的特殊性质，还是会使用到MFCC谱。如情感语音转换任务。...............
语音识别基础-梅尔谱图
最难理解的博客
06-08 4068
梅尔谱图科普性文章，自己做笔记用
时频分析方法：梅尔频谱图
最新发布
m0_62953704的博客
08-26 705
梅尔频谱图是一种常用于时频域分析的音频特征表示方法，基于梅尔频率尺度对声音信号进行变换。该尺度模仿了人耳对不同频率的感知特性，通过将信号的频谱映射到梅尔尺度上，使得低频部分的分辨率更高，而高频部分的分辨率较低，从而更好地反映了人耳的听觉感知。梅尔频谱图通常通过短时傅里叶变换（STFT）或滤波器组分析获得，并常用于语音识别、音乐信息检索等领域，其优势在于能够有效提取与音频信号相关的感知特征，提高了在实际应用中的表现和鲁棒性。
语谱图（四） Mel spectrogram 梅尔语谱图
chumingqian的博客
02-22 9591
梅尔 倒谱 系数 梅尔频率 倒谱系数 mel frequency Cepstrum coefficient。 ( 可以看出 Cepstrum 这个单词是 频谱 spectrum 前四个字母的倒序)， 我们需要先理解以下基本概念： 2.1 为什么要取倒谱系数呢？ f 代表原本的频率，M: 代表转换后的梅尔频率， 当f很大时， M 的变化趋于平缓。 3. 倒谱分析： 取对数， 4. 梅尔倒谱系数： 在得到梅尔语谱图后， 进行 DCT 变换， 取出其中的部分系数 作为倒谱系数 ...
librosa.feature.melspectrogram() 梅尔频谱图 示例
weixin_44493841的博客
01-21 8036
librosa.feature.melspectrogram() 梅尔频谱图 示例 import librosa y, sr = librosa.load( librosa.ex('nutcracker'), # 音频路径( librosa.ex('nutcracker') 可换成：1.wav ) sr = 18000, # 设置输出采样率，默认是22050 duration = 1 # 截取时长为1秒 ) print(y.shape) # 音频时间序列 (18000,)
如何提取出一首歌曲的梅尔频谱
慢慢变强大
02-18 4017
如何提取出一首歌曲的梅尔频谱 1.声谱图 如下图1一段声音信号直观地看起来是时间和能量的关系，在语音识别，音乐信息检索中常常关注的是声音中频率和能量的关系，即声谱图描述的就是频率和能量的关系。所以我们拿到一段音频需要先进行初步的处理，获得它的声谱图。具体的做法则是将声音信号分帧，然后对每一帧都用短时傅里叶变换处理，当然进行傅里叶变换之前还预先需要对声音信号进行预加重，加窗。 2.梅尔频谱 由于人...
语言处理 之 mel spectrum，梅尔谱图，时域，频域
HeroIsUseless的博客
01-04 3544
不管是用传统的GMM模型，还是用机器学习中的SVM或神经网络模型，提取声音特征都是第一步。梅尔频谱和梅尔倒谱就是使用非常广泛的声音特征形式 傅里叶变换实质涉及的是频域函数和时域函数的转换。 如果时域是运动永不停止的，那么频域就是静止的。 正弦波是频域中唯一存在的波形，这是频域中最重要的规则，即正弦波是对频域的描述，因为频域中的任何波形都可用正弦波合成。频域图像，也就是俗称的频谱。 这个应该才是最正确的。傅里叶变换就是拆分出许多正弦波，也是说明为什么能将时域图像转化为频域图像。 相位谱 频谱只代
MFCC 梅尔倒频谱系数 详解
04-19
在语音辨识（Speech Recognition）和语者辨识（Speaker Recognition）方面，最常用到的语音特征就是「梅尔倒频谱系数」（Mel-scale Frequency Cepstral Coefficients，简称MFCC），此参数考虑到人耳对不同频率的感受程度，因此特别适合用在语音辨识。下面简单的介绍一下求解MFCC的过程。
声谱图_matlab制作声谱图_
09-30
分析音频，分割进行傅里叶变换，得出声谱图
声谱分析器 谱分析用的到
01-03
谱分析工具，感觉比较有用，希望能对大家有所帮助
LPC_for_TTS:基于Levinson-Durbin算法的Python中的梅尔谱图的线性预测系数估计
03-25
LPC_for_TTS 基于Levinson-Durbin算法的Python中的梅尔谱图的线性预测系数估计。 基于Levinson-Durbin归纳法来做线性预测系数的估计。 from audio import * import numpy as np from hparams import Hparams as hparams input_wav_file = 'test.wav' sample_rate = 24000 lpc_order = 8 orig_audio , pred_audio , residual , lpcs = lpc_audio ( input_wav_file , lpc_order , hparams ) save_wav ( pred_audio , 'wavs/pred.wav' , hparams ) save_wav ( orig_audio ,
【语音基础】梅尔频谱
似水流年
01-23 1895
梅尔倒频谱(Mel-Frequency Spectrum, MFC)是一个可用来代表短期音讯的频谱， 其原理根基于以非线性的梅尔刻度(mel scale)表示的对数频谱(spectrum)及其线性余弦转换(linear cosine transform)之上。
梅尔频谱图与音频相互转化
赫凯的博客
05-09 6734
看大佬写的 import scipy.signal as signal import librosa import torch import numpy as np import copy sr = 22050 # Sample rate. n_fft = 2048 # fft points (samples) frame_shift = 0.0125 # seconds frame_length = 0.05 # seconds hop_length = int(sr*frame_shift) # sa
语音特征提取: 梅尔频谱(Mel-spectrogram)与梅尔倒频系数（MFCCS）
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-20 8595
在音频处理和语音识别领域，Mel频谱（Mel-spectrogram）和梅尔频率倒谱系数（MFCC）都是常用的特征表示方法。两者都广泛应用，但在不同的应用场景中各有优势。
声谱图，梅尔语谱，倒谱，梅尔倒谱系数（超详细）
热门推荐
Barbara‘s Blog
09-03 2万+
语音特征提取。
matlab梅尔频谱图
09-11
在MATLAB中绘制梅尔频谱图，可以按照以下步骤进行： 1. 首先，将音频信号加载到MATLAB中。你可以使用`audioread`函数来读取音频文件或直接使用已有的音频信号。 2. 将音频信号通过短时傅里叶变换（STFT）转换为时频表示。你可以使用`spectrogram`函数来实现这一步骤。 ```matlab [s, fs] = audioread('your_audio_file.wav'); % 读取音频文件，s为音频信号，fs为采样率 window = hamming(window_length); % 定义窗函数，例如汉明窗 noverlap = window_length - hop_size; % 计算重叠的样本数 [S, f, t] = spectrogram(s, window, noverlap, NFFT, fs); % 进行短时傅里叶变换 ``` 其中，`window_length`是窗口的长度，`hop_size`是帧移的样本数，`NFFT`是FFT的点数。 3. 计算梅尔滤波器组的中心频率。你可以使用以下代码计算梅尔滤波器组的中心频率： ```matlab num_filters = 26; % 梅尔滤波器的数量 f_min = 0; % 最低频率 f_max = fs/2; % 最高频率 mel_min = hz2mel(f_min); % 将最低频率转换为梅尔频率 mel_max = hz2mel(f_max); % 将最高频率转换为梅尔频率 mel_centers = linspace(mel_min, mel_max, num_filters+2); % 在梅尔频率上均匀分布滤波器中心 ``` 其中，`hz2mel`是将赫兹频率转换为梅尔频率的函数。 4. 将频谱转换为梅尔频谱。你可以使用以下代码将频谱转换为梅尔频谱： ```matlab mel_filters = melFilterBank(fs, NFFT, mel_centers); % 计算梅尔滤波器组 mel_spectrum = mel_filters * abs(S); % 将频谱乘以梅尔滤波器组 ``` 其中，`melFilterBank`是一个自定义函数，用于计算梅尔滤波器组。 5. 绘制梅尔频谱图。你可以使用以下代码绘制梅尔频谱图： ```matlab figure; imagesc(t, mel_centers, 10*log10(mel_spectrum)); % 绘制梅尔频谱图 axis xy; % 设置y轴方向为正方向 xlabel('时间（秒）'); ylabel('梅尔频率（Hz）'); colorbar; % 添加颜色条 ``` 这样，你就可以在MATLAB中绘制出梅尔频谱图了。注意，上述代码中的函数和变量名仅供参考，具体实现需要根据你的需求进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值