![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
时间序列预测
文章平均质量分 53
£•€•×
这个作者很懒,什么都没留下…
展开
-
Attention机制(三)
Attention机制(三)之应用 机器翻译 https://arxiv.org/abs/1706.03762 自然语言处理 根据主语推测谓语 根据上下文填充缺失的单词 数字字符串运算处理 简易程序执行 图像处理及合成 参考自https://zhuanlan.zhihu.com/p/47613793 ...原创 2021-01-13 22:36:44 · 107 阅读 · 0 评论 -
Attention机制(二)
Attention机制(二) Self-Attention与Transformer why? 由于RNN的顺序结构训练,速度常常受到限制,attention模型可以看到全局的信息,希望能够去掉RNN结构,仅仅依赖于Attention模型,使模型并行化,同时拥有全局信息 what? 直观理解 先来看一个翻译的例子“I arrived at the bank after crossing the river” 这里面的bank指的是银行还是河岸呢,这就需要我们联系上下文,当我们看到river之后就应该知道这里b原创 2021-01-13 21:44:49 · 193 阅读 · 0 评论 -
Attention机制
Attention机制(一) 在Seq2Seq 问题中RNN与Attention的结合 why? 解决由长序列到定长序列而造成的信息损失的瓶颈 what? attention机制翻译过程中decoder可以看到encoder的所有信息,而不仅局限于原来模型中定长的隐藏向量,并且不会丧失长程的信息 直观理解 eg:当翻译知识就是力量时,翻译knowledge时,注意力放在源句知识的部分,翻译power时,注意力集中在力量中 数学运算 利用RNN结构中的encoder的hidden state 假设当原创 2021-01-13 14:52:54 · 93 阅读 · 0 评论