m0_71947280的博客

原创 RNN、序列对序列模型的自学笔记

首先由于输入值x1.。首先当前解码器的状态是根据前一步的解码器状态和当前输入（前一步输出）（预测且在初始时则可以用一些初始字符）决定，然后根据计算当前解码器的状态与编码器各时间步的状态的相关性 进行分配权重（其中要用softmax进行概率归一化） 然后再根据注意力权重计算上下文向量（编码器状态的加权和） 然后通过上下文向量和当前状态和输入得出输出。然后 x2和h1组合通过tanh函数算出新的细胞状态（不算是c2）这个新的细胞状态与b相乘得出更新细胞状态 然后与前面的遗忘细胞状态进行相加得出c2。