Python探索性数据分析(EDA)语音数据建模

音频文件

时域中波形

之前我们称它为时间序列数据，但现在我们称它为波形。或者，两者兼而有之。 当我们只看这个音频文件的一小部分时，这一点变得更加清晰。 下图显示了与上面相同的内容，但这次只有 62.5 毫秒。

您可以看到一个时间信号，它以不同的频率和幅度在值 0 附近振荡。该信号表示气压随时间的变化，或扬声器膜（或您耳朵中的膜）的物理位移 . 这就是为什么这种对音频数据的描述也称为波形的原因。

频率是该信号振荡的速度。低频，例如60 Hz 可能是低音吉他的声音，而鸟儿的歌声可能是 8000 Hz 的更高频率。人类语言通常介于两者之间。

要知道这个信号需要多快被解释，我们还需要知道记录数据的采样率。 在这种情况下，每秒的采样率为 16’000 或 16k Hz。 也就是说上图中我们可以看到的1’000个时间点代表62.5毫秒（1000

频域傅里叶变换

虽然之前的可视化可以告诉我们什么时候发生了事情（即大约 2 秒似乎有很多波形信号），但它不能真正告诉我们它发生的频率。 因为波形向我们显示了有关时间的信息，所以该信号也被称为在时域中。

使用快速傅立叶变换，我们可以反转这个问题，并获得关于存在哪些频率的清晰信息，同时丢失关于时间的所有信息。 在这种情况下，信号表示被称为在频域中。

让我们看看我们之前所说的句子在频域中的表现。

import scipy
import numpy as np

from matplotlib import pyplot as plt

y_freq=np.abs(scipy.fftpack.fft(y))
f=np.linspace(0,sr,len(y_freq))

plt.figure(figsize=(12,3))
plt.semilogx(f[:len(f)//2],y_freq[:len(f)//2])
plt.xlabel("Frequence (Hz)")
plt.show()

您可以在此处看到大部分信号在 ~100 到 ~1000 Hz 之间（即 10² 到 10³ 之间）。另外，似乎还有一些从 1’000 到 10’000 Hz 的额外内容。

频谱图

我们并不总是需要决定时域或频域。 使用频谱图，我们可以从这两个领域中获利，同时将它们的大部分障碍保持在最低限度。 有多种方法可以创建这样的频谱图，但在本文中，让我们特别看一下其中的三种。

短时傅里叶变换 (STFT)

使用之前快速傅立叶变换的小型改编版本，即短时傅立叶变换 (STFT)，我们可以创建这样的频谱图。 此处应用的小技巧是以滑动窗口的方式计算多个小时间窗口（因此称为“短时傅立叶”）的 FFT。

梅尔谱图

作为 STFT 的替代方案，您还可以计算基于梅尔标度的梅尔谱图。 这个度量解释了我们人类感知声音音高的方式。 计算梅尔度量，以便人类将梅尔度量中由 delta 隔开的两对频率感知为具有相同的感知差异。

梅尔谱图的计算与 STFT 非常相似，主要区别在于 y 轴使用不同的刻度。

梅尔频率倒谱系数 (MFCC)

音频数据清理

特征提取

探索性数据分析(EDA)音频数据

特征分布分析

机器学习模型建立

源代码

参阅 - 亚图跨际