【深度学习】语音识别之CTC算法原理解释与公式推导

不搞语音识别得人开这个论文确实有点费劲，结合上图，思考一下语音识别的场景，输入是一段录音，输出是识别的音素， 输入的语音文件的长度和输出的音素个数之间没有一一对应关系，通常将语音文件「分片」之后，会出现多对一的关系。这个场景在「翻译问题」和「OCR问题」中也普遍存在。

本文的特点是，提出来一种end-to-end的方法，直接将语音转问音素。不需要添加规则/后处理等过程。

文章目录 [隐藏]

• 1 几个定义
• 2 构造分类器
• 3 解码方法
  • 3.1 Best path decoding
  • 3.2 prefix search decoding
• 4 网络训练
  • 4.1 前向后向算法
  • 4.2 似然函数
    • 4.2.1 序列的似然
    • 4.2.2 路径的似然
• 5 极大似然训练
• 6 实现
• 7 参考资料

几个定义

损失函数定义为平均编辑距离：

一种路径的概率为：

 

在现实之中，多个路径会对应一个正确的序列，并且这个序列长度往往小于路径长度，那么序列最终的概率可以使用路径的概率之和表示：

构造分类器

让我们再确定一下我们的目标，我们的目标是通过输入序列 x得到输出序列 y，如果我们可以获得输出序列的分布 p(I|x)，选择其中概率最大的那一个作为「输出序列」即可。这个逻辑可以通过下面公式表示：

解码方法

这里介绍两种解码方法，解码是对path的分布进行的，输入为path的分布，输出为最终的序列。作者也没有找到比这两种更好的方法了。

Best path decoding

按照上面思路，需要找到序列 I 的所有路径的概率，一种简化的方式是：找到路径中概率最大的，然后其对应的序列 I 就是最优序列，这个方法被称为「Best path decoding」。

这个方法相当于是假设，最优序列的最优路径也是全局最优的（最优表示概率最大），形式化表示为：

prefix search decoding

接着介绍第二种方法，「prefix search decoding」是一种剪枝的算法，剪枝主要在两个方面，一是同路径不重复计算，二是不可能状态不再搜索，下图中第一层的Y不搜索就是因为同层的X和下层的Y概率都比他高。

这个方法是一种比较好的启发式搜索的方法。

网络训练

上面两种方式都是在模型已经训练出来，得到path概率分布之后的解码过程，那么如何训练一个网络，可以更好的预测path分布（即进行编码）呢？

首先这是一个有监督的过程，我们的输入是分片之后的语音文件， 输出是长度没有限制的音素序列。

前向后向算法

既然要训练，就要有「损失」，损失是定义预估的Label和正确的Label之间的「距离」，所以我们是希望每一条样本得到的path都可以有较高的概率生成其对应的Label。

对一条样本来说，如果给定了path如何确定生成当前样本的label（最终序列）的概率呢？根据定义，需要穷举所有可以生成正确label的path的概率，最后加到一起，这个计算量最差情况是「指数」级别的，这里可以使用类似HMM中的动态规划的方法，将时间复杂度变为 O(T∗|L|) ;其中 T 表示输入序列长度， |L| 表示输出Label长度。接下来就是如何巧妙地定义状态和寻找动态转移方程。

状态定义为：

为了实现end-to-end的训练，空格可能出现在任何两个音素之间，所以需要将原始的Label中每一个音素之间添加一个「元素」，这个「元素」可以为NULL和空格（blank）。仔细体会这个修改，对理解后面过程很重要。

理解动态转移方程之前，需要强调几个点：

• 我们的目标是根据所有的路径（path）计算出来一个长度为 2|L|+1 的Label，即 L′生成（解码）的概率
• path中每一个片段的内容为：音素、NULL、空格，其中每一个都可以连续出现多个
• 序列 L′中，也是包含三种内容：「音素、NULL、空格」，但是有一些约束，例如下面模式不能出现：「...，音素x，NULL，音素x，...」，因为相同的音素如果是紧挨着肯定是需要合并的。

状态转移方程：

其中虚线的转移，需要满足条件，具体为：如果当前状态label为空格或相邻两个音素一样（中间必有空格），就不能转移。

似然函数

序列的似然

让我们回忆一下似然函数的定义，简单来说就是「观测到的样本生成的概率」。在我们现在的场景， 对一条样本来说，观测到的是一个序列，如果认为序列中的元素是相互独立，似然函数可以表示为：

路径的似然

路径的似然假设路径的每一个输出都是相互「独立的」，结合似然的定义，似然这里要表达的就是路径是「合法」的概率（设立合法表示可以推导到标注序列的中间状态），可以表示为：

极大似然训练

这里介绍一种快速计算，如果保证t时刻生成 ls ，那么整个label生成的概率是多少？首先理解一下下面式子的物理意义：

用一个图形象表示一下，可以表示为：

这里就容易推导出来，表示整个样本生成的概率公式了，穷举所有可切割位置，将他们加和到一起即可：

整个似然函数对softmax未归一化之前的变量求偏导数得到（下面有链接详细介绍这个推导过程）：

梯度反向传播的过程如下图：

详细的推导：CTC最后一个公式推导

实现

tensorflow 中的ctc层：https://www.tensorflow.org/versions/r0.11/api_docs/python/nn/conectionist_temporal_classification__ctc_

参考资料

https://zhuanlan.zhihu.com/p/21775142 第一次下的论文是错误的，这里有说明。

论文：Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks

 

转自：https://x-algo.cn/index.php/2017/05/31/2345/