transformer
文章平均质量分 95
transformer的学习
稻禾边的阳光
这个作者很懒,什么都没留下…
展开
-
Transformer(下)
Transformer完整结构图。原创 2024-03-07 16:40:44 · 358 阅读 · 1 评论 -
Transformer(上)
Encoder-Decoder框架主要被用来处理序列-序列问题。也就是输入一个序列,生成一个序列的问题。这两个序列可以分别是任意长度。原创 2024-03-05 16:01:11 · 332 阅读 · 0 评论 -
简单了解RNN
链接: 参考文章RNNRNN就是用来处理序列信息的任务。序列信息通俗理解就是一段连续的信息,前后信息之间是有关系地,必须将不同时刻的信息放在一起理解。 从左图中就可以看出RNN呢其实就只是相当于在全连接神经网络的隐藏层增加了一个循环的操作。Xt是t时刻的输入,是一个[x0,x1,x2…xn]的向量 U是输入层到隐藏层的权重矩阵 St是t时刻的隐藏层的值 W是上一时刻的隐藏层的值传入到下一时刻的隐藏层时的权重矩阵 V是隐藏层到输出层的权重矩阵 Ot是t时刻RNN网络的输出原创 2024-03-05 16:19:46 · 389 阅读 · 0 评论