CTC loss-初步理解2

参考：
深度实践OCR
https://blog.csdn.net/yang_daxia/article/details/90524191
理解：路径，标签
假如label为"apple"

那么路径就是矩阵中的一条路，然后一个标签包含多条路径，这个标签的概率为各条路径和，标签是路径的集合

接下来看一下前向传播与反向传播

前向传播和反向传播的时候会计算一个矩阵，宽为T，长和GT的长度有关，假如GT的长度为n，那么该矩阵的长为2*n+1

该矩阵表示了所有可能在t=8的时间内构建apple的所有路径
需要满足一些规则
1)方向只能右或者下，不能左因为同一时间不能用两次，不能上的原因是，上的话导致产生的就不是apple了
2)相同字符间要用空字符隔开，例如pp中间必须插入一个空格，如果没有空格的话，两个p都会被合成一个p了，就产生aple了
3)非空字符不能被跳过，因为非空的被跳过的话就不能组成apple了
4)起点必须从前两个字符开始，起点要么是-要么是a，终点要么是-要么是e，针对apple
只要按照上述规则，便可以得到所有的apple路径，此时我们可以利用动态规划来减少重复计算
具体过程如下图


最终得到DP方程，反向传播也是一样的道理，只是从终点走到起点罢了

def ctc_loss(params,seq,blank=0):
    """
    CTC loss function.
    params - n x m 的矩阵n-D概率分布，m是步长
    seq - 输入序列
    is_prob - 参数是否传过softmax
    blank - 空格索引
    """
    seq_len=seq.shape[0]   #label的长度
    num_phones=params.shape[0]  #类别数量
    L=2*seq_len+1   #label增加了blank之后的长度
    T=params.shape[1]   #输入时间序列的长度

    alphas=np.zeros((L,T))
    belta=np.zeros((L,T))

    #初始化alphas的前向推理参数
    # 这样就构造了一个长度为T，宽为L的矩阵
    alphas[0,0]=params[blank,0]
    alphas[1,0]=params[seq[0],0]
    c=np.sum(alphas[:,0])
    alphas[:,0]=alphas[:0]/c
    llForward=np.log(c)
    for t in range(1,T):
        start=max(0,L-2*(T-t))
        end=min(2*t+2,L)
        for s in range(start,L):
            l=(s-l)/2
            # 为blank的情况，偶数位的当前状态都是空格
            if s%2==0:
                if s==0:
                    #如果是当前列第一个，那么只能从前一列的同一行过来了
                    alphas[s,t]=alphas[s,t-1]*params[blank,t]
                else:
                    # 可以前一列的同行和上一行过来，不能从上一个空字过来，因为这违法了非空不能跳过
                    alphas[s,t]=(alphas[s,t-1]+alphas[s-1,t-1])*params[blank,t]
            # 同样的label两次
            elif s==l or seq[l]==seq[l-1]:
                # 相同的字符间需要间隔一个空字,所以不能从上上行过来
                alphas[s,t]=(alphas[s,t-1]+alphas[s-1,t-1])*params[seq[l],t]
            else:
                #三条路都能走，再向上的话会违背非空不能跳过原则
                alphas[s, t] = (alphas[s, t - 1] + alphas[s - 1, t - 1]+alphas[s-2,t-1]) * params[seq[l], t]
        c=np.sum(alphas[start:end,t])
        alphas[start:end,t]=alphas[start:end,t]/c
        llForward+=np.log(c)

上述代码的目的是填满矩阵，填充顺序为外层循环T，内层循环走s

先沿着这个方向走，再沿着这个方向走

反向传播也是类似的，只是从终点走回起点，并把参数记录在beta里面