CTC原理介绍

    在做OCR时用到了CTC Loss，对CTC Loss一直都是只有宏观的概念，并没有认真研究它的细节原理（主要是没勇气研究），最近由于需要修改CTC中的解码部分，所以又硬着头皮看论文，查资料，经过不懈努力，总算是明白了一点。接下来我将按照我的理解对CTC的损失计算、解码进行详细说明，限于本人水平有限，不对之处，敬请指正。

CTC出现的背景

    在序列学习任务中，RNN对训练样本一般有这样的依赖条件：输入序列和输出序列之间的映射关系已经事先标注好了，可以根据输出序列和标注样本间的差异来直接定义RNN模型的Loss函数。比如，在词性标注任务中，训练样本中每个词（或短语）对应的词性会事先标注好。
    但是，在OCR、语音识别时，由于我们很难对样本的输入进行标注（很难区分相邻信息间的分界线），所以仅使用RNN是很难解决这些问题的。这时Alex Graves等人在ICML 2006上提出的一种端到端的RNN训练方法Connectionist Temporal Classification（CTC），它可以让RNN直接对序列数据进行学习，而无需事先标注好训练数据中输入序列和输入序列的映射关系，使得RNN模型在语音识别等序列学习任务中取得更好的效果，在语音识别和图像识别等领域CTC算法都有很比较广泛的应用。

CTC介绍

    假设RNN（一般都是经过了$softmax$的）的某一条输出为 π = { π 1 , π 2 , . . π n } \pi=\{\pi_1,\pi_2,..\pi_n\} π={π1​,π2​,..πn​}，对应的标签为$I$，m <= n，CTC的目的就是为了将$\pi$通过一个函数B映射成$I$，即：$I=B(\pi )$。$y_{{\pi }_t}^t$表示在$t$时刻输出为${\pi }_t$的概率。
    假设每个输出之间都是相互独立的，则其中一条符合$l=B(\pi )$的路径的概率为：$p(\pi |x)={\prod }_{t=1}^T{y}_{{\pi }_t}^t$
    够映射成$I$的概率为：$p(I|x)={\sum }_{\pi \in B^{-1}(I)}p(\pi |x)$，这里的$\pi \in B^{-1}(I)$是指所有能够映射成$l$的$\pi$

    由于直接暴力计算 $p(I|x)$的复杂度非常高，作者借鉴HMM的Forward-Backward算法思路，利用动态规划算法求解。
    在正式介绍前向，后向算法之前，我们先说明一些条件，方便后续的理解。

1. 将目标序列$I$转化为label，在目标序列的首尾和中间都加上空格，用$l^{{}^{\prime }}$表示。如上图所示：我们的目标序列是:CAT，将CAT的首尾和中间都添加空格(blank)，变成了：-C-A-T-，图中白色代表实体，黑色代表空格。
2. 路径的搜索只能从左上方往右下方进行，不能低于当前位置
3. 相同字符之间至少需要一个空格。比如：序列aa之间至少有一个“-”，否则就是错误的，因为不包含"-"的会被合并成一个a
4. 非空字符不能被跳过。搜索过程中非空字符必须要对应一个输出
5. 起点必须从第一个（空白）或第二个（第一个非空字符）开始，终点必须在最后一个（空白）或第二个（最后一个非空字符）结束。

前向算法

    这里用$\alpha (t,u)={\sum }_{\pi \in V(s,u)}{\prod }_{i=1}^t{y}_{{\pi }_i}^i$表示$t$时刻经过节点$u$的路径的概率总和（$u$是$l^{{}^{\prime }}$的索引，从1开始），特别的当$t=1$时：
$$\begin{array}{rl}& \alpha (1,1)=y_b^1\\ & \alpha (1,2)=y_{l_1}\\ & \alpha (1,u)=0,u>2\end{array}$$
    其他时刻需要分情况考虑：

1. $t$时刻经过的结点$(u,t)$为空白时，那么能够到达它的节点为$(u,t-1)$、$(u-1,t-1)$，可以表达为：$\alpha (t,u)=(\alpha (t-1,u)+\alpha (t-1,u-1))\ast y_u^t$；
2. $t$时刻经过的结点$(u,t)$为非空字符且与前一个非空字符相同时，那么能够到达它的节点为$(u,t-1)$、$(u-1,t-1)$，可以表达为：$\alpha (t,u)=(\alpha (t-1,u)+\alpha (t-1,u-1))\ast y_u^t$，与1一样；
3. $t$时刻经过的结点$(u,t)$为非空字符且与前一个非空字符不相同时，那么能够到达它的节点为$(u,t-1)$、$(u-1,t-1)$、$(u-2,t-1)$，可以表达为：$\alpha (t,u)=(\alpha (t-1,u)+\alpha (t-1,u-1)+\alpha (t-1,u-2))\ast y_u^t$。
       论文中用一下表述该概括这三种情况：
   $$\begin{array}{rl}& \alpha (t,u)=y_u^t\sum _{i=f(u)}^u\alpha (t-1,i)\end{array}$$
   其中：$$f(u)=\{\begin{array}{ll}u-1& \text{l′[u]=blank or l′[u]=l′[u−2]}\\ u-2& \text{otherwise}\end{array}$$
       最后，总的损失（考虑最后一个是空格和非空两种情况，$,|l^{{}^{\prime }}|$表示label的长度）可以表示为：
   $$L(S)=-ln(I|x)=-ln(\alpha (T,|l^{{}^{\prime }}|)+\alpha (T,|l^{{}^{\prime }}|-1))$$

后向算法

    后向算法与前向算法一样，只是方向是反的。前向算法是从$t=1$到$t=T$，后向算法是$t=T$到$t=1$。
    这里用$\beta (t,u)={\sum }_{\pi \in V(s,u)}{\prod }_{i=t+1}^T{y}_{{\pi }_i}^i$表示$t$时刻经过节点$u$的路径的概率总和（$u$是$l^{{}^{\prime }}$的索引，从1开始），特别的当$t=T$时：
$$\begin{array}{rl}& \beta (T,|l^{{}^{\prime }}|)=1\\ & \beta (T,|l^{{}^{\prime }}|-1)=1\\ & \beta (T,u)=0,u<|l^{{}^{\prime }}|-2\end{array}$$
    其他时刻需要分情况考虑：

1. $t$时刻经过的结点$(u,t)$为空白时，那么能够到达它的节点为$(u,t+1)$、$(u+1,t+1)$，可以表达为：$\beta (t,u)=(\beta (t+1,u)+\beta (t+1,u+1))\ast y_u^{t+1}$；
2. $t$时刻经过的结点$(u,t)$为非空字符且与前一个非空字符相同时，那么能够到达它的节点为$(u,t+1)$、$(u+1,t+1)$，可以表达为：$\beta (t,u)=(\beta (t+1,u)+\beta (t+1,u+1))\ast y_u^{t+1}$，与1一样；
3. $t$时刻经过的结点$(u,t)$为非空字符且与前一个非空字符不相同时，那么能够到达它的节点为$(u,t+1)$、$(u+1,t+1)$、$(u+2,t+1)$，可以表达为：$\beta (t,u)=(\beta (t+1,u)+\beta (t+1,u+1)+\beta (t+1,u+2))\ast y_u^{t+1}$。
       论文中用一下表述该概括这三种情况：
   $$\begin{array}{rl}& \beta (t,u)=y_u^{t+1}\sum _{i=f(u)}^u\beta (t+1,i)\end{array}$$
   其中：$$f(u)=\{\begin{array}{ll}u+1& \text{l′[u]=blank or l′[u]=l′[u+2]}\\ u+2& \text{otherwise}\end{array}$$
       最后，总的损失（考虑最后一个是空格和非空两种情况，$,|l^{{}^{\prime }}|$表示label的长度）可以表示为：
   $$L(S)=-ln(I|x)=-ln(\beta (1,1)+\beta (1,2))$$

损失函数

    这里我们可以利用前向算法和后向算法来表示$t$时刻通过节点$u$的概率:
$$\begin{array}{rl}\alpha (t,u)\beta (t,u)& =\sum _{\pi \in X(t,u)}\prod _{t=1}^T{y}_{{\pi }_t}^t\\ & =\sum _{\pi \in X(t,u)}p(\pi |x)\end{array}$$
    之前我们只是表示了总的损失，那么$t$时刻的损失如何表示了，论文中做了表述，$t$时刻的损失可以表示为：
KaTeX parse error: Undefined control sequence: \inX at position 58: …=-\ln(\sum_{\pi\̲i̲n̲X̲(t,u)}\prod_{t=…

梯度反向传播

    如上图所示，我们要求损失关于$u_k^t$的梯度。在求解之前，我们需要先做一些准备工作(用$z$表示$I$，论文是这样表达的)：
$$\begin{array}{rl}\frac{\partial L(z,x)}{\partial y_{k^{{}^{\prime }}}^t}& =\frac{\partial (-\ln p(z|x))}{\partial y_{k^{{}^{\prime }}}^t}\\ & =-\frac{1}{p(z|x)}\frac{\partial {\sum }_{\pi \in B^{-1}(z)}p(\pi |x)}{\partial y_{k^{{}^{\prime }}}^t}\\ & =-\frac{1}{p(z|x)}(\sum _{u\in B(z,k^{{}^{\prime }})}\frac{\partial \alpha (t,u)\beta (t,u)}{\partial y_{k^{{}^{\prime }}}^t})\\ & =-\frac{1}{p(z|x)}\sum _{u\in B(z,k^{{}^{\prime }})}\frac{\alpha (t,u)\beta (t,u)}{y_{k^{{}^{\prime }}}^t}\end{array}$$
$$\begin{array}{r}\frac{\partial y_{k^{{}^{\prime }}}^t}{\partial u_k^t}=y_{k^{{}^{\prime }}}^t({\delta }_{k{k}^{{}^{\prime }}}-y_k^t)\end{array}$$
这个是softmax的求导，具体过程这里就不累赘了。
其中：$${\delta }_{k{k}^{{}^{\prime }}}=\{\begin{array}{ll}1& \text{k=k′}\\ 0& \text{otherwise}\end{array}$$
    如上图所示，如果我们要求损失关于$u_k^t$的梯度，则：
$$\begin{array}{rl}\frac{\partial L(z,x)}{\partial u_k^t}& =\sum _{k^{{}^{\prime }}}\frac{\partial L(z,x)}{\partial y_{k^{{}^{\prime }}}^t}\frac{\partial y_{k^{{}^{\prime }}}^t}{\partial u_k^t}\\ & =-\sum _{k^{{}^{\prime }}}\frac{1}{p(z|x)}(\sum _{u\in B(z,k^{{}^{\prime }})}\frac{\alpha (t,u)\beta (t,u)}{y_{k^{{}^{\prime }}}^t})y_{k^{{}^{\prime }}}^t({\delta }_{k{k}^{{}^{\prime }}}-y_k^t)\\ & =-\frac{1}{p(z|x)}\sum _{k^{{}^{\prime }}}((\sum _{u\in B(z,k^{{}^{\prime }})}\frac{\alpha (t,u)\beta (t,u)}{y_{k^{{}^{\prime }}}^t})y_{k^{{}^{\prime }}}^t({\delta }_{k{k}^{{}^{\prime }}}-y_k^t))\\ & =-\frac{1}{p(z|x)}(\sum _{k^{{}^{\prime }}=k}(\sum _{u\in B(z,k^{{}^{\prime }})}\frac{\alpha (t,u)\beta (t,u)}{y_{k^{{}^{\prime }}}^t})y_{k^{{}^{\prime }}}^t(1-y_k^t)+\sum _{k^{{}^{\prime }}!=k}(\sum _{u\in B(z,k^{{}^{\prime }})}\frac{\alpha (t,u)\beta (t,u)}{y_{k^{{}^{\prime }}}^t})y_{k^{{}^{\prime }}}^t(0-y_k^t))\\ & =-\frac{1}{p(z|x)}(\sum _{k^{{}^{\prime }}=k}(\sum _{u\in B(z,k^{{}^{\prime }})}\alpha (t,u)\beta (t,u))(1-y_k^t)-\sum _{k^{{}^{\prime }}!=k}(\sum _{u\in B(z,k^{{}^{\prime }})}\alpha (t,u)\beta (t,u))y_k^t)\\ & =-\frac{1}{p(z|x)}(\sum _{k^{{}^{\prime }}=k}\sum _{u\in B(z,k^{{}^{\prime }})}\alpha (t,u)\beta (t,u)-\sum _{k^{{}^{\prime }}=k}(\sum _{u\in B(z,k^{{}^{\prime }})}\alpha (t,u)\beta (t,u))y_k^t)-\sum _{k^{{}^{\prime }}!=k}(\sum _{u\in B(z,k^{{}^{\prime }})}\alpha (t,u)\beta (t,u))y_k^t)\\ & =-\frac{1}{p(z|x)}(\sum _{u\in B(z,k)}\alpha (t,u)\beta (t,u)-\sum _{k^{{}^{\prime }}}(\sum _{u\in B(z,k^{{}^{\prime }})}\alpha (t,u)\beta (t,u))y_k^t)\\ & =\frac{1}{p(z|x)}(-\sum _{u\in B(z,k)}\alpha (t,u)\beta (t,u)+y_k^t\sum _{u\in B(z,k^{{}^{\prime }})}\alpha (t,u)\beta (t,u))\\ & =\frac{1}{p(z|x)}(-\sum _{u\in B(z,k)}\alpha (t,u)\beta (t,u)+y_k^{t}p(z|x))\\ & =y_k^t-\frac{1}{p(z|x)}\sum _{u\in B(z,k)}\alpha (t,u)\beta (t,u)\end{array}$$
    至此，CTC的反向传播推导完成。CTC的解码过程后续会给出，并且附带原生Python代码实现，近期推出！