音频信号是声音的一种表示,它表示由振动引起的气压随时间的波动(数字信号处理-1-关于声音与波)。
1 波形与时域
音频信号在时域上的表示就是波形随时间的变化,可以将波形的幅度值理解为声压。
声音是连续的,但数字记录是离散的,一段连续的波形我们只能按时间分成很小的间隔去记录。这里就涉及到采样率,记为 fs( sampling frequency) 或 sr(sampling rate),也就是一分钟采样多少次。CD 光盘中采样率一般为 44100 Hz。
%matplotlib inline
import numpy, scipy, matplotlib.pyplot as plt, IPython.display as ipd
import librosa, librosa.display
import stanford_mir; stanford_mir.init()
# 返回波形数组,采样率
x, sr = librosa.load('audio/c_strum.wav')
# 播放器
ipd.Audio(x, rate=sr)
# 波形
plt.figure(figsize=(15, 5))
librosa.display.waveshow(x, sr, alpha=0.8)
2 音色
音色(Timbre)是区别声音的一种显著特征。
2.1 音色与时间
音色的一个特征是它的时间演变。信号的包络线(envelope)是一条平滑曲线,它近似于波形随时间变化的幅度极值,是波形的一种简化近似。
包络通常由 ADSR 模型建模,该模型描述了声音的四个阶段:起音、衰减、延音、释放( attack, decay, sustain, release)。
在起音阶段,声音逐渐增强,通常在很宽的频率范围内带有类似噪声的成分。 这种在声音开始时的类似噪音的短时声音通常被称为瞬态(transient)。
在衰减阶段,声音稳定并达到稳定的周期性模式。
在维持阶段,能量保持相对恒定。
在释放阶段,声音逐渐消失。
2.1 音色与频谱
用于表征音色的另一个属性是分音(Partials)的存在及其相对强度。 分音是音乐中的主要频率,最低分音是基频( fundamental frequency)。
如下图幅度值最大的 1000Hz 即是主要分音,最低分音 500Hz 即是基频
x, sr = librosa.load('audio/oboe_c6.wav')
ipd.Audio(x, rate=sr)
X = scipy.fft.fft(x[10000:14096])
X_mag = numpy.absolute(X)
plt.figure(figsize=(14, 5))
plt.plot(f[:2000], X_mag[:2000]) # magnitude spectrum
plt.xlabel('Frequency (Hz)')