Multi-level Knowledge Injecting for Visual Commonsense Reasoning

背景

本篇的工作来自北大彭宇新组，论文被TCSVT接收

摘要

题为多级知识注入的VCR方法，作者认为计算机在推理方面弱势是由于：
（1）计算机不具备人类日积月累的各种常识
（2）计算机不具备认知级别的多步推理能力
针对以上两点，作者提出的CKRM网络分别包括多级知识迁移网络Multi-level knowledge transfer network和基于知识的推理Knowledge based reasoning两个模块来解决上述问题。

方法

Multi-level knowledge transfer network
多级知识迁移网络，多级知识迁移器分别是：
Cell-level Transfer、Layer-level Transfer、Attention-level Transfer
从知识迁移字面理解，不难得知作者使用的是迁移学习的手段，通过从源域学习到知识（视为是常识）来用于目标域中（即VCR任务中）。源域任务使用的是文本推理数据集SWAG（通过给定一个上下文，模型选择一个合适的结尾来描述接下来要发生事），任务形式如下：（正确答案已经黑体标出）

Multi-level know