文章探讨了在多视角网络中，不同视图嵌入矩阵的处理问题。传统方法将每个矩阵单独输入神经网络，导致矩阵间的关系丢失。为解决此问题，文章引入了注意力机制，通过计算矩阵间的相关性来确定权重，将嵌入矩阵加权混合后一同输入，以保持它们之间的关联性。
因为目前在看一篇论文，里面涉及了有关注意力机制的问题，因此特学习一下
试想一下，在多视角网络中可以得到不同视图下的嵌入矩阵，常规方式是将这些嵌入矩阵分别输入神经网络中得到结果，但这样做会出现一个明显的问题：各个嵌入矩阵在神经网络中的处理变得毫不相关。而按照我们的经验来讲，在多视角网络中得到的不同视图下的嵌入矩阵常常是存在关系的，为了解决这种问题，传统的做法是如下图所示将所有情况罗列出来。
这种表示方法实在是太麻烦了
为此我们引入了注意力机制：简单来讲，就是将原本单个嵌入矩阵输入神将网络，修改成按照一定的权重混合在一起后一起输入进去。
两个嵌入矩阵的权重大小取决于二者的相关性
而上述计算过程规范表示，大概就是：
1222
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
