触发字检测

本文是基于吴恩达老师《深度学习》第五课第三周练习题所做。

0.背景介绍

在达叔的教程中，我们已经了解了触发字检测的作用是在听到“触发字”时唤醒设备，本文的主要目的就是实现对“触发字”的检测，本例以“Activate”作为触发字。

本例所需的第三方库、数据集及辅助程序，可点击此处下载。

import numpy as np
from pydub import AudioSegment
import random
import sys
import io
import os
import glob
import IPython
import ffmpeg
from td_utils import *

1.数据分析：创建语言数据集

为了保证学习达到理想效果，在构建数据集时既要包含positive的词（“Activate”）又要包含negative的词（除“Activate”之外的干扰词）。

1.1数据试听

在原始数据集中包含三类数据：positive、negative和background，其中background为10s长的背景噪音。

IPython.display.Audio("./raw_data/activates/1.wav")
IPython.display.Audio("./raw_data/negatives/4.wav")
IPython.display.Audio("./raw_data/backgrounds/1.wav")

注：该函数只能在jupyter中调用试听。

1.2声谱图转换

麦克风记录的信号是我们在发音时参数的一系列空气压力的微小变化，这和人耳听到声音的原理一致。由于麦克风的采样频率是44100Hz，因此一段10s长的音频记录包含4410000个数据点。从这样的原始数据中，我们很难判断单词“Activate”是否有包含在这段音频内。为了方便我们的序列模型检测触发字，需计算原始数据的声谱图（spectrogram），声谱图能直观的展示出这段音频内有多少频段，如下图：

IPython.display.Audio("audio_examples/example_train.wav")

x = graph_spectrogram("audio_examples/example_train.wav")

由于我们使用音频长度是10s，转换成声谱图后的时间步数量为5511，该数据将作为模型的特征输入，因此Tx=5511.

_, data = wavfile.read("audio_examples/example_train.wav")


print("Time steps in audio recording before spectrogram", data[:, 0].shape)
print("Time steps in input after spetrogram", x.shape)

Time steps in audio recording before spectrogram (441000,)
Time steps in input after spetrogram (101, 5511)

 经过分析计算，我们最终可确定：

Tx = 5511
n_freq = 101
Ty = 1375

其中：Tx是声谱图的输出也是神经网络输入变量的维度；Ty是模型的输出，是将10s的音频离散成1375个时间区间用以识别是否包含单词“Activate”。

1.3生成一个训练样本

由于音频数据很难标注，因此positive、negative和background音频片段来合成训练样本。在合成的过程中，首先随机的选择一段10s的background，然后随机的插入0-4个positive单词，最后随机的插入0-2个negative单词， 这样一来我们可以明确的知道单词“Activate”的位置了，可以得到标签y<t>。

我们将使用pydu