Connectionist Temporal Classification(CTC)、音识别模型小型综述和一个简易的语音识别模型的tensorflow实现

CTC是一种端到端的语音识别技术，他避免了需要字或者音素级别的标注，只需要句子级别的标注就可以进行训练，感觉非常巧妙，也很符合神经网络浪潮人们的习惯。特别是LSTM+CTC相较于之前的DNN+HMM，LSTM能够更好的捕捉输入中的重要的点（LSTM随着状态数目增加参数呈线性增加，而HMM会平方增加），CTC打破了隐马尔科夫的假设，把整个模型从静态分类变成了序列分类。

语音识别的评价指标

在语音识别中，在数据集$S$上评价模型$h$的好坏一般用标签错误率（Label Error Rate）: $LER(h,S)=\frac{1}{|S|}{\sum }_{(x,z)\in S}\frac{ED(h(x),z)}{|z|}$，$ED(p,q)$表示$p$和$q$两个序列的编辑距离。

语音识别模型

在语音识别中，提取语音信号的MFCC特征$x$，经过神经网络或者GMM处理后经过一个softmax层得到一个每个音素的后验概率$y$，$y$的类别有$|L|+1$种，$L$是可能出现的字符，加1为建个符。定义$B$为简单的压缩变换，把路径$\pi$（路径就是一种音素出现的路线）中相邻相同的音素合并，空音素去掉，再特征$x$下定序列$l$出现的条件概率为：

$$p(l|x)=\sum _{\pi =\in B^{-1}(l)}p(\pi |x)$$

前向后向算法（Forward-Backward Algorithm）

定义符号$l_{p:q}$表示符号序列KaTeX parse error: Expected '}', got 'EOF' at end of input: …..l_{q-1},l_{q}，容易得知，要想使得路径$B({\pi }^{\prime })$满足一定的$l$，$\pi$路线上的状态跳转需要满组$l^{\prime }$的先后顺序，不同的符号之间可以插入blank。

定义前向变量$\alpha (t,u)$：${\alpha }_t(t,u)={\sum }_{\pi \in N^T,B({\pi }_{1:t})=1_{1:u}}{\prod }_{t^{\prime }=1}^t{y}_{{\pi }_{t^{\prime }}}^{t^{\prime }}$

$\alpha (t,s)$可以递推的用$\alpha (t-1,s)，\alpha (t-1,s-1)$计算。

为了方便起见，我们在$l$相邻标签之间插入了空白（blank），在开始和末尾也加入了空白，这样我们用$l^{\prime }$表示这个新的标记，$l^{\prime }$的长度就为$2|l|+1$。在计算$l^{\prime }$前缀的概率中，我们允许空白和非空白标签之间转移，那么我么有动态规划的初始条件：

$$\alpha (1,1)=y_b^1$$

$$\alpha (1,2)=y_{l_1}^1$$

$$\alpha (1,u)=0,u>2$$

$$\alpha (t,0)=0$$

$$\alpha (t,u)=0,u<U^{\prime }-2(T-t)-$$