- 博客(3)
- 收藏
- 关注
RSS订阅原创 NLP-attention
encoder的每个输出状态h都要保留下来，通过公式计算S0与每个状态的相关性α，然后就可以计算文本向量c，每个c对应一个decoder的状态S，decoder的输入为c、s与x‘，得到新的状态s，然后再根据权重计算公式计算α与文本向量c，再次更新decoder的输出获得新的s，重复此过程，直至结束。其中，c的计算公式同attention的c的计算公式相同，在计算权重α时，attention利用的是encoder的所有输出状态，而self-attention利用的是句子此前的输出状态。
2023-10-11 15:30:32
17
1
原创 NLP-LSTM
RNN网络中只包含一个参数矩阵A，而LSTM中包含与其功能类似的4个参数矩阵。LSTM作为一种神奇的算法，可以帮助计算机处理序列数据时更好地学习和记忆。通过内部的门结构，LSTM单元可以实现输入、遗忘和输出的控制，从而捕捉长期的依赖关系。无论是在人工智能领域还是实际应用中，LSTM都展现出了令人难以置信的能力。希望通过这篇文章，大家能对LSTM有一个更深入的了解。
2023-10-10 12:16:22
26
原创 NLP-RNN
为什么需要双曲正切函数进行激活呢？由下图可知，当输入X均为0时，最终的输出状态h100为参数矩阵A的100次方乘h0，因此当参数矩阵A小于1时，A的100次方无限接近于0，当A大于1时，A的100次方接近于无穷大。在RNN中，word为原始的输入文本，X为经过word embedding的词向量，A为参数矩阵，h为输入向量的状态更新。one2one 模型很适合处理图片等信息，对于文本问题，输入和输出的长度并不固定，例如将一段英语翻译成汉语，输入输出的字词数并不固定，因此seq2seq模型更加适合。
2023-10-09 10:17:14
28
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人