Alignment

一、前置

1、我们的目的是：给一串声学特征，得出tokens的概率。

2、LAS要计算P(Y|X)，可以直接计算

3、training，就是要找到得到概率结果最大的network的参数

4、CTC、RNN-T要计算P(X|Y)依赖于要知道alignment（下图以CTC为例）

        需要把所有有可能的alignment加起来

        

5、需要解决的问题

        a、如何穷举所有有可能的alignment

        b、怎么样将所有alignment的概率加起来

        c、训练时需要找到得到概率结果最大的network的参数，就需要计算梯度下降，怎么样做梯度下降

        

        d、如何进行测试得到最优的结果

        

二、穷举所有有可能的alignment操作（举例：tokenN = 3为c、a、t，声学特征T = 6）

1、HMM

（1）重复token达到长度T

（2）代码操作

（3）路线图（描述过程）

2、CTC

（1）重复token或者添加null直到字符数达到T

（2）代码操作

（3）路线图（描述过程）

a、null可以被跳过，任何一个token不能被跳过

b、每一种字符的可操作方案

c、任意起点到任意终点就行

d、特殊情况（两个相同的token连在一起的情况）

3、RNN-T

（1）只能添加固定数T个null

（2）代码操作

        插在前面的位置的null都没关系，但输出的alignment最后一个一定要是null

（3）路线图（描述过程）

三、总结流程图