Attention模型
Chihk-Anchor
这个作者很懒,什么都没留下…
展开
-
注意力机制 Attention模型 global attention 和 local attention
Attention model 可以应用在图像领域也可以应用在自然语言识别领域本文讨论的Attention模型是应用在自然语言领域的Attention模型,本文以神经网络机器翻译为研究点讨论注意力机制,参考文献《Effective Approaches to Attention-based Neural Machine Translation》这篇文章提出了两种Attention模型分类:...原创 2018-12-14 21:09:51 · 7869 阅读 · 1 评论 -
transformer 模型(self-attention自注意力)
transformer模型在《Attention is all you need》论文中提出这篇论文主要亮点在于:1)不同于以往主流机器翻译使用基于RNN的seq2seq模型框架,该论文用attention机制代替了RNN搭建了整个模型框架。2)提出了多头注意力(Multi-headed attention)机制方法,在编码器和解码器中大量的使用了多头自注意力机制(Multi-headed s...原创 2019-01-08 19:57:21 · 78738 阅读 · 11 评论