GCNet是一种轻量级的全局上下文（GC）块设计，它综合了非局部（NL）网络和squeeze-excitation（SE）网络的优点。GC块通过将所有位置的特征聚合形成全局上下文特征，再结合特征变换模块捕捉通道间的相互依赖，最后通过融合模块将全局上下文信息合并到每个位置的特征中。GCNet降低了NL块的计算成本，提高了效率，且其全球背景特征是所有query位置共享的，实现了更有效的全局上下文建模。
GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond
文章地址https://arxiv.org/pdf/1904.11492.pdf
代码地址https://github.com/xvjiarui/GCNet
设计了一个更好的实例化，global context (GC) block，轻量级。
统一简化的NL块和SE块：（a）将所有位置的特征聚合在一起以形成全局上下文特征; （b）一个特征变换模块，用于捕获频道明智的相互依赖性; （c）一个融合模块，将全局上下文功能合并到所有位置的特征中。
NL块：
z i = x i + W z ∑ j = 1 N p f ( x i , x j ) C ( x ) ( W v ⋅ x j ) {\bf z}_i={\bf x}_i+W_z\sum_{j=1}^{N_p}\frac{f({\bf x}_i,{\bf x}_j)}{\mathcal{C}({\bf x})}(W_v·{\bf x}_j) zi=xi+Wz∑j=1NpC(x)f(xi,xj)(Wv⋅xj)
x = { x i } i = 1 N p {\rm x}=\{
{\rm x}_i\}^{N_p}_{i=1} x={
xi}i=1N
最低0.47元/天 解锁文章
扫一扫
8820
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
