梅尔频谱(mel-spectrogram)提取，griffin_lim声码器【python代码分析】

最新推荐文章于 2024-07-27 20:38:11 发布

明月几时有.

最新推荐文章于 2024-07-27 20:38:11 发布

阅读量1.6w

点赞数 13

分类专栏：音频信号处理文章标签：梅尔频谱幅度谱 griffin_lim mel mel-spectrogram

本文链接：https://blog.csdn.net/weixin_35576881/article/details/90300799

版权

本文详细介绍了如何使用Python从音频波形提取梅尔频谱，并通过griffin_lim声码器将梅尔频谱还原为音频波形。过程中涉及预加重、短时傅立叶变换、Mel滤波器组和相位信息的估计，griffin_lim声码器因其无需相位信息即可重建高质量音频而备受青睐。

摘要由CSDN通过智能技术生成

在语音分析，合成，转换中，第一步往往是提取语音特征参数。
利用机器学习方法进行上述语音任务，常用到梅尔频谱。
本文介绍从音频文件提取梅尔频谱，和从梅尔频谱变成音频波形。

从音频波形提取Mel频谱：

对音频信号预加重、分帧和加窗
对每帧信号进行短时傅立叶变换STFT，得到短时幅度谱
短时幅度谱通过Mel滤波器组得到Mel频谱

从Mel频谱重建音频波形

Mel频谱转换成幅度谱
griffin_lim声码器算法重建波形
去加重

声码器有很多种，比如world,straight等，但是griffin_lim是特殊的，它不需要相位信息就可以重频谱重建波形，实际上它根据帧之间的关系估计相位信息。和成的音频质量也较高，代码也比较简单。

音频波形到 mel-spectrogram

sr = 24000 # Sample rate.
n_fft = 2048 # fft points (samples)
frame_shift = 0.0125 # seconds
frame_length = 0.05 # seconds
hop_length = int(sr*frame_shift) # samples.
win_length = int(sr*frame_length) # samples.
n_mels = 512 # Number of Mel banks to generate
power = 1.2 # Exponent for amplifying the predicted magnitude
n_iter = 100 # Number of inversion iterations
preemphasis = .97 # or None
max_db = 100
ref_db = 20
top_db = 15

def get_spectrograms(fpath):
    '''Returns normalized log(melspectrogram) and log(magnitude) from `sound_file`.
    Args:
      sound_file: A string. The full path of a sound file.

    Returns:
      mel: A 2d array of shape (T, n_mels) <- Transposed
      mag: A 2d array of shape (T, 1+n_fft/2) <- Transposed
 '''
    # Loading sound file
    y, sr = librosa.load(fpath, sr=sr)

    # Trimming
    y, _ = librosa.effects.trim(y, top_db=top_db)

    # Preemphasis
    y = np.append(y[0