Self-attention

一、背景

        本人在阅读大神文章《Attention is all you need》的过程中，遇到了有关attention方面的内容，尤其是对于self-attention方面的内容饶有兴趣，于是做了许多调查，下面是我的一些总结。

二、基本知识

       1、Attention Mechanism

           本文主要讲解Self_attention方面的内容，这方面的知识是建立在attention机制之上的，因此若读者不了解attention mechanism的话，希望你们能去略微了解一下。本人也将在这里稍微的解释一下。

           对于encoder-decoder模型，decoder的输入包括（注意这里是包括）encoder的输出。但是根据常识来讲，某一个输出并不需要所有encoder信息，而是只需要部分信息。这句话就是attention的精髓所在。怎么理解这句话呢？举个例子来说：假如我们正在做机器翻译，将“I am a student”翻译成中文“我是一个学生”。根据encoder-decoder模型，在输出“学生”时，我们用到了“我”“是”“一个”以及encoder的输出。但事实上，我们或许并不需要“I am a ”这些无关紧要的信息，而仅仅只需要“student”这个词的信息就可以输出“学生”（或者说“I am a”这些信息没有“student”重要）。这个时候就需要用到attention机制来分别为“I”、“am”、“a”、“student”赋一个权值了。例如分别给“I am a”赋值为0.1，给“student”赋值剩下的0.