一种新卷积

卷积神经网络的发展可以说引领了当前人工智能技术的研发热潮并为计算机视觉带来了突破性的发展，但常规卷积存在一些固有缺陷，也因此研究者们在不断探索更有效且更高效的卷积设计。腾讯 AI Lab 的一篇 ECCV 2020 论文也提出了一种基于神经科学研究的新式卷积：语境门限卷积。

 

语境门限卷积

Context-Gated Convolution

 

本文由腾讯 AI Lab 主导，与哥伦比亚大学合作完成，提出了一种可考虑全局信息的新型卷积。

 

作为卷积神经网络的基础，卷积层从设计上便是为了提取局部特征，从而在设计上缺乏对于全剧语境信息的建模能力。近期，在赋予卷积层全局建模的能力的方向上涌现出了很多工作，特别有一大类是基于全局特征交互的方法。在这些全局特征交互的方法中，特征图在被送入下一个卷积层前会通过全局信息与局部特征进行交互的方式将全局语境信息融入到局部特征中。

 

根据神经科学方面的研究，神经元能够根据动态改变自己的功能，这个能力对于人类感知这个世界至关重要，然而这样的能力在目前的卷积层中是缺失的。基于此，本文创新地提出了语境门限卷积，从而直接依照全局信息的指引动态的调整卷积层的权重。经过动态调整的卷积层能够更好地捕捉到有代表性的局部模式，以及更好地提取具有分辨力的特征。

 

语境门限卷积示意图

 

如上图所示，语境门限卷积包含三个轻量化的模块，可利用全局信息对卷积核进行调控：语境编码模块将全局空间信息高效地编码进一个隐变量中；通道交互层负责不同通道之间地传递，并将输入维度投影至输出维度；门解码层将前面两个层输出的隐变量作为输入，从而解码出一个与卷积权重维度相同的张量，用于调整卷积核，使其能够更好地捕捉到重要的信息。

 

另外值得一提的是，新提出的语境门限卷积是一个轻量级的组件，可以很好地应用在现有的卷积神经网络中，在图像识别、视频理解、机器翻译上都可以显著提升现有模型性能。