- 博客(1)
- 收藏
- 关注
原创 RNN、序列对序列模型的自学笔记
首先由于输入值x1.。首先当前解码器的状态是根据前一步的解码器状态和当前输入(前一步输出)(预测且在初始时则可以用一些初始字符)决定,然后根据计算当前解码器的状态与编码器各时间步的状态的相关性 进行分配权重(其中要用softmax进行概率归一化) 然后再根据注意力权重计算上下文向量(编码器状态的加权和) 然后通过上下文向量和当前状态和输入得出输出。然后 x2和h1组合通过tanh函数算出新的细胞状态(不算是c2)这个新的细胞状态与b相乘得出更新细胞状态 然后与前面的遗忘细胞状态进行相加得出c2。
2024-06-25 22:21:58
322
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人