Paper Read: Robust Deep Multi-modal Learning Based on Gated Information Fusion Network

Paper Read: Robust Deep Multi-modal Learning Based on Gated Information Fusion Network

转载自：https://www.cnblogs.com/wangxiaocvpr/p/9377542.html

 Robust Deep Multi-modal Learning Based on Gated Information Fusion Network

Paper：https://arxiv.org/pdf/1807.06233.pdf 

Related Papers:  

1. Infrared and visible image fusion methods and applications: A survey 　　Paper 

2. Chenglong Li, Xiao Wang, Lei Zhang, Jin Tang, Hejun Wu, and Liang Lin. WELD: Weighted Low-rank Decomposition  or Robust Grayscale-Thermal Foreground Detection. IEEE Transactions on Circuits and Systems for Video Technology (T-CSVT), 27(4): 725-738, 2017. [Project page with Dataset and Code]

3. Chenglong Li, Xinyan Liang, Yijuan Lu, Nan Zhao, and Jin Tang. RGB-T Object Tracking: Benchmark and Baseline.[arXiv] [Dataset: Google drive, Baidu cloud] [Project page] 

 

 

本文针对多模态融合问题（Multi-modal），提出一种基于 gate 机制的融合策略，能够自适应的进行多模态信息的融合。作者将该方法用到了物体检测上，其大致流程图如下所示：

 

 如上图所示，作者分别用两路 Network 来提取两个模态的特征。该网络是由标准的 VGG-16 和 8 extra convolutional layers 构成。另外，作者提出新的 GIF（Gated Information Fusion Network） 网络进行多个模态之间信息的融合，以取得更好的结果。动机当然就是多个模态的信息，是互补的，但是有的信息帮助会更大，有的可能就质量比较差，功效比较小，于是就可以自适应的来融合，达到更好的效果。

 

Gated Information Fusion Network (GIF)： 

如上图所示：

该 GIF 网络的输入是：已经提取的 CNN feature map，这里是 F1, F2. 然后，将这两个 feature 进行 concatenate，得到 FGFG. 该网络包含两个部分：

1. information fusion network（图2，虚线框意外的部分）；

2. weight generation network （WG Network，即：图2，虚线处）；

Weight Generation Network 分别用两个 3*3*1 的卷积核对组合后的 feature map FGFG 进行操作，然后输入到 sigmoid 函数中，即：gate layer，然后输出对应的权重 w1w1，w2w2。

Information fusion network 分别用得到的两个权重，点乘原始的 feature map，得到加权以后的特征图，将两者进行 concatenate 后，用 1*1*2k 的卷积核，得到最终的 feature map。

总结整个过程，可以归纳为：