CTC 讲解和python实现

---

讲解比较详细的博客
CTC的原始paper

在大多数语音识别任务中，我们都缺少文本和音频特征的alignment，Connectionist Temporal Classification作为一个损失函数，用于在序列数据上进行监督式学习，可以不需要对齐输入数据及标签。

对于输入序列$X=[x_1,x_2,..,x_T]$ 和 输出序列 $Y=[y_1,y_2,...,y_U]$，我们希望训练一个模型使条件概率$P(Y|X)$ 达到最大化，并且给定新的输入序列时我们希望模型可以推测出最优的输出序列，$Y^{\ast }=\underset{Y}{\mathrm{argmax}}P(Y|X)$，而CTC算法刚好可以同时做到训练和解码。

损失函数

语音识别任务中，大多数情况下都是输入序列长度大于文本序列长度，所以CTC算法的alignment方案也是基于将连续的几帧输入合并对应到某一个输出的token，即多对一，同时除了训练数据中所有的token集合，CTC还引入了一个空白token，在这里用 $ϵ$ 指代，他没有实际意义并且在最终输出序列中被移除，但这个token对生成alignment很有帮助。

CTC算法生成最终token输出序列步骤如下：
生成和输入序列长度相同的alignment → 合并相同token → 删除空白token → token序列

上面步骤准确来讲是解码的步骤，解码之前我们要训练模型，训练模型就需要损失函数，或者说需要一个被优化的目标函数：
P ( Y ∣ X ) = ∑ 所 有 合 法 a l i g n m e n t ∏ t = 1 T p t ( a t ∣ X ) P(Y|X)=\sum_{所有合法alignment}\prod \limits_{t=1}^Tp_t(a_t|X) P(Y∣X)=所有合法alignment∑​t=1∏T​pt​(at​<