Connectionist Temporal Classification

关键词：CTC算法，forward-backward算法

引言：

traning RNNs to label unsegmented sequences directly
训练RNNs直接标记未分割序列的新方法

1. 介绍：

未分割序列数据进行标记任务中，输入流是用离散标签串(如单词/字母)进行标记的

目前隐马尔可夫模型(HMMs)和条件随机场(CRFs)是序列标记的主要框架

1.RNNs：只能训练成一系列独立的标签分类，训练数据必须进行预分割，网络输出必须进行后处理，最后得到label序列

2.RNNs+HMMs：HMMs建模长序列结构，NN用于局部分类。HMM组件能够在训练过程中自动分割序列，并将网络分类转换为标签序列

3.CTC：RNNs for this purpose as connectionist temporal classification (CTC)

---

2. Temporal Classfication

2.1 标签错误率(LER)

ED：x变为z的所需的插入，替换和删除的最小次数(最短编辑距离)

---

3. Connectionist Temporal Classification

RNN网络输出转换为标签序列上的条件概率分布，通过给定输入序列，选择最有可能的标签

3.1 从网络输出到标签

启发式：尾部添加额外添加一个空白概率来对齐

对于输入序列，任何一个标签序列的总概率=sum(不同对齐方式求得的概率)

3.1.1某种对齐方式的计算

x：输入序列
T：length(x)
L'： L∪{blank}
L'T: 长度为T的序列在L'上的分布
π：表示在该分布上的元素的路径
y(k,t)：输入单元k在t时刻的概率

隐含假设：网络输出在不同时刻，是有条件的，独立的
要求：输出层不存在从自身/网络的feedback connections

3.1.2 sum(对齐方式)

L(<=T)：表示可能的标签序列，如图：abb表示L，长度为3 <= 输入序列5或者8
β：多对一的映射方式，先去除重复单词，再去除空格
l：表示所有可能的路径

3.2 构建分类器

我们想要的分类器h(x)是，给定x的输入，使得输出是最有可能的标签

给出两种decoding方法

3.2.1 best path decoding

选择最有可能的路径，所对应最有可能的labelling

缺点：π*只是在每个时间步上的最活跃的输出的串联

3.2.2 prefix search decoding(采用)

形成预测的空白分隔的峰值，输出序列的开始和结尾添加一个blank

缺点：扩展的前缀数量随着输入序列的长度增加呈指数增长

---

🤣分界线，以上是启发式思考，下面是CTC的设计

---

4. 训练CTC网络(正文设计)

梯度下降训练CTC网络的目标函数，需要一种算法来求解最大似然函数

4.1 forward-backward算法

关键思想:对应于标签上的路径和可以分解为对应于该标签的前缀的路径上的迭代和

规定：

• 1. 在每对标签之间插入空格，在开始和结束时插入空格
• 2. 不允许竖直方向白色转移到白色，这会吞掉一个符号
• 3. 允许所有前缀以空白或者第一个符号开始，以空白或者最后一个符号结束

下面给出例子说明，如图，给出有四条，且在t=4时刻都经过A这个字符

4.1.1 forward 计算

前向递推概率和：

初始化：

转移方程：

此转移方程，我们可以将下面(7)的αt(s)代入(6)，同样得到一个式子

观察论文中的转移图，当我们当前字符是白色的时候，我们可以由上一秒是白色自转或者由黑色转移；当我们当前字符是黑色的时候，我们可以由上一秒当前黑色自转或者由白色转移或者上个黑色字符转移

4.1.2 backward 计算

由T时刻的状态来递推同理，不再赘述

4.2 Maximum Likelihood Training

对于总的路径概率该怎么求？首先给出论文中的计算公式，前面Σ表示定义所有经过β变化后是l的字符串π的集合，也就是上面图中给出的 π1，π2，π3，π4

我们以上述四条路径为例，由forward算法，我们可以计算得到由T=0转移到T=4时，四条路径分别的概率乘积，也可以通过backward算法，计算由T=6转移到T=4时，四条路径的概率乘积

然后分别都乘上y4的概率，也就是T=4取到A的概率，计算四条路的概率总和，对此可以将所有T=4之前的前向路径记为forward，T=4之后的后向路径记为backward，forward * (T=4) * backward也为相同的答案，如图

现在明白了前向概率和，后向概率和的含义，然后回到我们要看明白的式子，首先由概率公式P(A+B|X)=P(A|X)+P(B|X),将forward和backward的概率P拆分，然后乘上T=4时刻的概率，表示在T=4发生该字符这一前提下，发生forward的概率和backward的概率

然后α和β将这两个相乘，就可以得到论文中给出的式子

---

下面是求导计算梯度过程，以及涉及到的对softmax偏导过程

右边等价于p(l|x)

然后对y(k,t)求偏导，分子是无关项

然后引入len后，对所有路径概率求和

最后由对ut求偏导，y(k,t)是输出层通过softmax得到的，u(k,t)是未经过softmax的输出，对softmax的求导过程

最后答案是这个

---

CTC的特征：

1.条件独立：每个时间片相互独立(忽略了各个时间片之间的语义信息)
2.单调对齐：输入x与输出y之间的单调对齐(不适用于机器翻译)
3.多对一映射：输入序列x的长度>标签数据y的长度