![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 66
Yicsr
要做咸鱼里,最能扑腾的那一条。
展开
-
Transformer 浅学
分为编码和解码两个过程selef-attention就是拆解对照表,计算各个零部件的权重,标明互相间的关系。前馈网络就是根据这些权重变一次形状。decoder除了self-attention和前馈网络还多了一层,encoder-decoder attention。encoder-decoder attention作用就是在组装的时候,不光要考虑自己,还要兼顾拆解时候的整体信息。落实到机器翻译上,就是在解码的时候,每个词不光要看已经翻译的内容,还要考虑encoder中上下文的信息。每个s.原创 2022-04-01 16:01:17 · 378 阅读 · 0 评论 -
Attention 注意力机制浅学
目录Attention前言Encoder-DecoderAttention机制sele-attention机制decoder总结Attention的三大优点**中心思想:通过加权求和,context上下文理解。**Attention前言Attention即权重翻译为例games是游戏,但是综合2022 beijing winter 就翻译为比赛,不不不,应该是冬奥会。Encoder-DecoderRNN模型改进传统的神经网络,建立了网络隐层间的时序关联。每一时刻的隐层状态St,不仅取决于原创 2022-04-01 14:49:09 · 1767 阅读 · 0 评论