注意力机制（Attention mechanism）（上篇）

        在图像识别的时候，假设输入的图像大小都是一样的。但如果问题变得复杂，如图1所 示，输入是一组向量，并且输入的向量的数量是会改变的，即每次模型输入的序列长度都不一 样，这个时候应该要怎么处理呢？我们通过具体的例子来讲解处理方法。

图1  输入是一组向量

        第一个例子是文字处理，假设网络的输入是一个句子，每一个句子的长度都不一样（每个 句子里面词汇的数量都不一样）。如果把一个句子里面的每一个词汇都描述成一个向量，用向 量来表示，模型的输入就是一个向量序列，而且该向量序列的大小每次都不一样（句子的长度 不一样，向量序列的大小就不一样）。

        将词汇表示成向量最简单的做法是独热编码，创建一个很长的向量，该向量的长度跟世 界上存在的词汇的数量是一样多的。假设英文是十万个词汇，创建一个十万维的向量，每一 个维度对应到一个词汇，如式所示。但是这种表示方法有一个非常严重的问题，它假设 所有的词汇彼此之间都是没有关系的。cat 和 dog 都是动物，它们应该比较像；cat 是动物， apple 是植物，它们应该比较不像。但从独热向量中不能看到这件事情，其里面没有任何语义 的信息。

        除了独热编码，词嵌入（word embedding）也可将词汇表示成向量。词嵌入使用一个 向量来表示一个词汇，而这个向量是包含语义信息的。如图2所示，如果把词嵌入画出来， 所有的动物可能聚集成一团，所有的植物可能聚集成一团，所有的动词可能聚集成一团等等。 词嵌入会给每一个词汇一个向量，而一个句子就是一组长度不一的向量。

图2  词嵌入

        接下来举一些把一个向量的序列当做输入的例子。如图3所示，一段声音信号其实是 一组向量。我们会把一段声音信号取一个范围，这个范围叫做一个窗口（window），把该窗口 里面的信息描述成一个向量，这个向量称为一帧（frame）。通常这个窗口的长度就是25毫秒。 为了要描述一整段的声音信号，我们会把这个窗口往右移一点，通常移动的大小是10毫秒。

 

图 3 语音处理

        总之，一段声音信号就是用一串向量来表示，而因为每一个窗口，他们往右移都是移动 10 毫秒，所以一秒钟的声音信号有 100 个向量，所以一分钟的声音信号就有这个 100 乘以 60，就有 6000 个向量。所以语音其实很复杂的。一小段的声音信号，它里面包含的信息量其 实是非常可观的，所以声音信号也是一堆向量。

        一个图（graph）也是一堆向量。社交网络是一个图，在社交网络上面每一个节点就是一个人。每一个节点可以看作是一个向量。每一个人的简介里面的信息（性别、年龄、工作等等） 都可以用一个向量来表示。所以一个社交网络可以看做是一堆的向量所组成的。

        药物发现（drugdiscovery）跟图有关，如图 4 所示，一个分子也可以看作是一个图。如 果把一个分子当做是模型的输入，每一个分子可以看作是一个图，分子上面的每一个球就是 一个原子，每个原子就是一个向量。每个原子可以用独热向量来表示，比如氢、碳、氧的独热 向量表示如式 所示。

 

图4 药物发现

        如果用独热向量来表示每一个原子，一个分子就是一个图，它就是一堆向量。