加和分数、训练、测试

一、加和所有alignment的分数

1、路线图中

2、l_i只与token有关，有一个专门训练的网络；h_i变化只与null有关

3、distribution生成的概率不受路径影响，只要到达位置概率就是一样的

4、计算alignment分数的总和

（1）αi,j：将读了i个声学特征和输出j个token的所有alignment分数加和起来，表中每一个各自都对应着一个α。

（2）可以以此将图中所有格子的概率计算并加和。

二、训练

1、我们希望训练出来network参数，使得P(Y^(hat)|X)越大越好

2、推导

        推导公式：

3、计算

（1）使用类似SGD去back回去计算这个的梯度

（2）使用数学推导计算这个

（3）引入βi,j：有点像αi,j的相反，将所有产生i个声学特征和j个token的alignment的分数加和起来

（4）梯度第二部分最终计算公式为

4、总结

（1）示意图

（2）最终推导公式

三、测试

1、由训练得到的优化过参数的network进行run

2、理想情况下，想要得到一个Y，使之对应的所有alignment得到的概率值相加最大。

3、为了简化计算进行改进：对于不同的Y，找出对应的每一个alignment最大分数的h

4、在3中找到h^*后，将Y^*确定

5、计算上述对应的概率

6、也就是使用训练好的RNN（例如），run，找出几率最大的distribution作为h^*，当然也可以使用束搜索。

四、总结