![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
注意力机制
玛卡巴卡米卡巴卡
h h haha
展开
-
Attention Mechanism
AM的基本原理https://blog.csdn.net/wuzqchom/article/details/75792501http://www.360doc.com/content/18/0506/06/36490684_751494854.shtml这篇博客中的动图讲解很清楚 :https://www.cnblogs.com/ydcode/p/11038064.html注意力机制可以...原创 2019-07-13 10:08:38 · 121 阅读 · 0 评论 -
论文笔记:NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
https://blog.csdn.net/Doron15/article/details/81866095神经机器翻译不像传统的统计机器翻译,它的目的是建立一个单一的神经网络,使这个网络能够最大化翻译效果。NMT通常是编码器和解码器的结合,编码器把源语句转化为固定长度的向量,由解码器生成翻译。这篇论文认为使用固定长度的向量是提升编码器解码器结构效果的瓶颈,所以提出通过让模型自动(平滑地)搜索源...原创 2019-08-03 09:34:19 · 154 阅读 · 0 评论 -
论文笔记:Residual Attention Network for Image Classification
https://blog.csdn.net/u013738531/article/details/81293271Attention使得运算聚焦于特定区域,也可以使得该部分区域的特征得到增强。‘very deep’的网络结构结合残差连接(Residual Network)在图像分类等任务中表现出了极好的性能。因此结合attention和residual,突出残差注意力网络。https://...原创 2019-08-02 07:48:54 · 309 阅读 · 1 评论 -
论文笔记:Attention Is All You Need
谷歌发表的文章,针对nlp里的机器翻译问题,提出了一种基于注意力机制的的网络结构–Transformer。https://blog.csdn.net/songbinxu/article/details/80332992以往nlp里大量使用RNN结构和encoder-decoder结构,RNN及其衍生网络的缺点就是慢,问题在于前后隐藏状态的依赖性,无法实现并行,而文章提出的”Transforme...原创 2019-08-03 09:04:15 · 116 阅读 · 0 评论 -
一些Attention在NMT上的论文
http://tech.huanqiu.com/news/2016-11/9735838.html?agt=15438转载 2019-08-16 13:43:58 · 179 阅读 · 0 评论 -
论文笔记:Effective approaches to attention-based neural machine translation
https://www.jianshu.com/p/1c24eba3ba9c本论文就提出了两种简单但却有效的注意力机制,全局注意力(global)和局部注意力(local)。本文提出的两种注意力机制(global & local)其本质区别在于,全局注意力会参考所有输入词,而局部注意力只会考虑部分输入词。全局注意力该注意力机制重点在于考虑所有输入的隐状态来生成语境向量。局部注意...原创 2019-08-16 13:57:00 · 240 阅读 · 0 评论 -
论文阅读:Agreement-Based Joint Training for Bidirectional Attention-Based Neural Machine Translation
双向注意力模型,尽可能使注意力在两个方向上保持一致模型的中心思想就是对于相同的training data,使source-to-target和target-to-source两个模型在alignment matrices上保持一致。这样能够去掉一些注意力噪声,使注意力更加集中、准确。这篇文章胜在idea,很巧妙地想到了让正反向的注意力一致来改进attention。...原创 2019-08-16 14:04:03 · 262 阅读 · 0 评论 -
论文阅读:Hierarchical Attention Networks for Document Classification
https://www.jianshu.com/p/b44743a90c25转载 2019-08-16 14:11:01 · 165 阅读 · 0 评论 -
论文笔记:Show, Attend and Tell: Neural Image Caption Generation with Visual Attention
Image Caption 看图说话转载 2019-08-18 10:01:07 · 632 阅读 · 0 评论