注意力机制（Attention mechanism）（中篇）

模型的输入是一组向量，它可以是文字，可以是语音，可以是图。而输出有三种可能性， 第一种可能性是每一个向量都有一个对应的标签。如图1所示，当模型看到输入是4个向 量的时候，它就要输出4个标签。如果是回归问题，每个标签是一个数值。如果是分类问题， 每个标签是一个类别。但是在类型1的问题里面，输入跟输出的长度是一样的。模型不需要 去烦恼要输出多少的标签，输出多少的标量。反正输入是4个向量，输出就是4个标量。这 是第一种类型。

图1 输入与输出数量相同

什么样的应用会用到第一种类型的输出呢？举个例子，如图2所示，在文字处理上，假 设我们要做的是词性标注（Part-Of-Speech tagging，POS tagging）。机器会自动决定每 一个词汇的词性，判断该词是名词还是动词还是形容词等等。这个任务并不是很容易，举个 例子，现在有一个句子：Isawasaw，这句话的意思是我看到一个锯子，第二个saw是名词 锯子。所以机器要知道，第一个saw是个动词，第二个saw是名词，每一个输入的词汇都要有一个对应的输出的词性。这个任务就是输入跟输出的长度是一样的情况，属于第一个类型 的输出。如果是语音，一段声音信号里面有一串向量。每一个向量都要决定它是哪一个音标。 这不是真正的语音识别，这是一个语音识别的简化版。如果是社交网络，给定一个社交网络， 模型要决定每一个节点有什么样的特性，比如某个人会不会买某个商品，这样我们才知道要 不要推荐某个商品给他。以上就是举输入跟输出数量一样的例子，这是第一种可能的输出。

图2 类型1应用的例子

对于输入是一个序列，输出是一个标签而言，如图3所示

图3 输入是一个序列，输出是一个标签

举例而言，如图4 所示，输入是文字，比如情感分析。情感分析就是给机器看一段话， 模型要决定说这段话是积极的（positive）还是消极的（negative）。情感分析很有应用价值，假 设公司开发的一个产品上线了，想要知道网友的评价，但又不可能一则一则地分析网友的留 言。而使用情感分析就可以让机器自动去判别当一则贴文里面提到某个产品的时候，它是积 极的还是消极的，这样就可以知道产品在网友心中的评价。给定一整个句子，只需要一个标签 （积极的或消极的）。如果是语音，机器听一段声音，再决定是谁讲的这个声音。如果是图，比 如给定一个分子，预测该分子的亲水性。

图4

我们不知道应该输出多少个标签，机器要自己决定输出多少个 标签。如图6.10所示，输入是N 个向量，输出可能是N′个标签。N′是机器自己决定的。这 种任务又叫做序列到序列的任务。翻译就是序列到序列的任务，因为输入输出是不同的语言， 它们的词汇的数量本来就不会一样多。真正的语音识别输入一句话，输出一段文字，其实也是 一个序列到序列的任务。

图5 序列到序列任务