Non-local Neural Networks

论文链接：论文
一位大佬的博客：博客
一般深度学习的各种操作都是local的，比如CNN，conv都是局部感受野，但其实全局的信息对于图像的任务更有价值，比如短视频分类任务等等，目前全局信息的使用就是FC，但是这会带来大量的参数。这篇文章提出了一个nonlocal的操作，他把position当成了一个权重，这里的position可以指空间，时间，或者时空关系，计算全局的关联性。eg视频中第一帧的A1区域和第十帧中A3区域有关联性，或者静态图像中，有些区域有关系，如果找到这些关系，就可以更好的分析目标整体的动作。

这个nonlocal可以被封装成一个block，用于任何网络。
贴出它的公式：

它是一个类似attention的机制，根据各像素之间的相关性，对所有像素进行加权。权重越大，说明这个区域越重要。
$x_i$代表输入图像的各像素点,$f$计算$x_i$和所有$x_j$之间的相关性。$g$可以理解为对$x_j$的一种增强操作。（注意,$x$为向量。故$f$的结果为一个数值,$g(x_j)$仍为一个向量，$C(x)$是用于归一化的数值。相当于给输入图像每个像素点处的向量$x_j$，都乘以 x i x_{i} x