Non-Local Neural Networks--非局部神经网络

讨论了算法的实质，阐述了我想的却说不出来的内容。一篇利用非局部均值滤波思想与深度网络相结合的文章，能够处理长距离依赖关系。

该方法做的视频相关检测，实验部分没有多做研究，但是其从非局部均值滤波扩展来的非局部均值块可以提取很多长距离依赖的相关性，实验效果非常不错，这一思想可以运用在很多应用当中，例如多维的高光谱图像。
另： 卷积可以看成局部滤波快，一个卷积核不同像素点有不同的权重，与原始图像块进行权重乘相加。
self-attention 模块在很多实验中都有所应用，尤其是序列核语言的应用中用的最多。根据《All you need is attention》对自注意力的定义，Gaussian Embedded 是一种特殊的自注意力模型。那么问题来了，为什么高斯核，softmax 归一化才是自注意力，有一种错觉，就是给特征分配一组归一化的权重都是注意力模型？