远程依赖项

今天读文章看到一个词：远程依赖项。查了一下文献，查找文献如下：

远程依赖的定义：

Long-range dependencies make the difference—Comment on “A stochastic model for EEG microstate sequence analysis”
Long Range Dependence - Cornell University
在阅读Coordination attention时了解到空间位置信息之间的远程依赖关系，经查询了解到ORDNET对短中远程依赖的提取，并对原始的自注意力机制进行了比较，指出原始的自注意力机制捕获的远程依赖特征的不精确性，因此来了解下自注意力机制论文的实现，再继续了解ORDNET会更深刻。
论文下载链接：
2018CVPR:Non-local Neural Networks

Abstract
卷积运算和recurrent运算都是一次处理一个局部邻域的构建块。在本文中，我们将非局部操作表示为一个通用的构建块族，用于捕获远程依赖关系。受计算机视觉中经典非局部均值方法[4]的启发，我们的非局部操作将某个位置的响应计算为所有位置特征的加权和。这种构建块可以插入到许多计算机视觉体系结构中。在视频分类任务上，即使没有任何不必要的附属配件，我们的非局部模型也可以在Kinetics和Charades datasets上与当前的竞争优胜者竞争或超越他们。在静态图像识别中，我们的非局部模型改进了COCO任务集上的目标检测/分割和姿势估计。Code will be made available。

[4]A. Buades, B. Coll, and J.-M. Morel. A non-local algorithm for image denoising. InComputer Vision and Pattern Recognition (CVPR), 2005.1,2,3

1. Introduction
捕获远程依赖在深度神经网络中具有至关重要性。对于序列数据（例如，在语音、语言中），recurrent operations[36,22]是远程依赖建模的主要解决方案。对于图像数据，远程依赖性是由深层的卷积运算形成的大感受野建模的[13,29]。

远古参考文献：
[22]S. Hochreiter and J. Schmidhuber. Long short-term memory.Neural computation, 1997.1
[36]D. E. Rumelhart, G. E. Hintont, and R. J. Williams. Learning representations by back-propagating errors.Nature, 1986.1
[13]K. Fukushima and S. Miyake. Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition. InCompetition and cooperation in neural nets. Springer, 1982.1
[29]Y . LeCun, B. Boser, J. S. Denker, D. Henderson, R. E.Howard, W. Hubbard, and L. D. Jackel. Backpropagation applied to handwritten zip code recognition.Neural computation, 1989.1

————————————————
版权声明：本文为CSDN博主「小哈蒙德」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_38109282/article/details/120887693