深度学习
文章平均质量分 96
江南西肥肥
这个作者很懒,什么都没留下…
展开
-
[学肥AI] 手写 Attention 注意力机制 及理解
RNN 和 各种变体 RNN 中 LSTM/GRU 都存在一个问题,就是如何解决 长距离信息的感知。RNN 的解决办法是加大 sequence,更长的窗口记得更加久远的信息;LSTM 和 GRU 就是把记忆设置成不同的权重,对重要的信息加大权重。Attention 又是另外一个角度,去解决这个问题。原创 2024-08-16 14:59:56 · 441 阅读 · 0 评论 -
[学肥AI] seq2seq 手工实现及原理分析
现实中,有一类问题是 输入输出不定长 的,比如1. 翻译,从中文到英文2. 文生图,一段话生成一个图片3. 摘要,总结一段话的信息所以 seq2seq 就是为了解决这种 一串序列 生成 另外一串序列 问题的模型。原创 2024-08-13 00:03:48 · 948 阅读 · 0 评论