参考:
深度实践OCR
https://blog.csdn.net/yang_daxia/article/details/90524191
理解:路径,标签
假如label为"apple"
那么路径就是矩阵中的一条路,然后一个标签包含多条路径,这个标签的概率为各条路径和,标签是路径的集合
接下来看一下前向传播与反向传播
前向传播和反向传播的时候会计算一个矩阵,宽为T,长和GT的长度有关,假如GT的长度为n,那么该矩阵的长为2*n+1
该矩阵表示了所有可能在t=8的时间内构建apple的所有路径
需要满足一些规则
1)方向只能右或者下,不能左因为同一时间不能用两次,不能上的原因是,上的话导致产生的就不是apple了
2)相同字符间要用空字符隔开,例如pp中间必须插入一个空格,如果没有空格的话,两个p都会被合成一个p了,就产生aple了
3)非空字符不能被跳过,因为非空的被跳过的话就不能组成apple了
4)起点必须从前两个字符开始,起点要么是-要么是a,终点要么是-要么是e,针对apple
只要按照上述规则,便可以得到所有的apple路径,此时我们可以利用动态规划来减少重复计算
具体过程如下图
最终得到DP方程,反向传播也是一样的道理,只是从终点走到起点罢了
def ctc_loss(params,seq,blank=0):
"""
CTC loss function.
params - n x m 的矩阵n-D概率分布,m是步长
seq - 输入序列
is_prob - 参数是否传过softmax
blank - 空格索引
"""
seq_len=seq.shape[0] #label的长度
num_phones=params.shape[0] #类别数量
L=2*seq_len+1 #label增加了blank之后的长度
T=params.shape[1] #输入时间序列的长度
alphas=np.zeros((L,T))
belta=np.zeros((L,T))
#初始化alphas的前向推理参数
# 这样就构造了一个长度为T,宽为L的矩阵
alphas[0,0]=params[blank,0]
alphas[1,0]=params[seq[0],0]
c=np.sum(alphas[:,0])
alphas[:,0]=alphas[:0]/c
llForward=np.log(c)
for t in range(1,T):
start=max(0,L-2*(T-t))
end=min(2*t+2,L)
for s in range(start,L):
l=(s-l)/2
# 为blank的情况,偶数位的当前状态都是空格
if s%2==0:
if s==0:
#如果是当前列第一个,那么只能从前一列的同一行过来了
alphas[s,t]=alphas[s,t-1]*params[blank,t]
else:
# 可以前一列的同行和上一行过来,不能从上一个空字过来,因为这违法了非空不能跳过
alphas[s,t]=(alphas[s,t-1]+alphas[s-1,t-1])*params[blank,t]
# 同样的label两次
elif s==l or seq[l]==seq[l-1]:
# 相同的字符间需要间隔一个空字,所以不能从上上行过来
alphas[s,t]=(alphas[s,t-1]+alphas[s-1,t-1])*params[seq[l],t]
else:
#三条路都能走,再向上的话会违背非空不能跳过原则
alphas[s, t] = (alphas[s, t - 1] + alphas[s - 1, t - 1]+alphas[s-2,t-1]) * params[seq[l], t]
c=np.sum(alphas[start:end,t])
alphas[start:end,t]=alphas[start:end,t]/c
llForward+=np.log(c)
上述代码的目的是填满矩阵,填充顺序为外层循环T,内层循环走s
先沿着这个方向走,再沿着这个方向走
反向传播也是类似的,只是从终点走回起点,并把参数记录在beta里面