背景
本篇的工作来自北大彭宇新组,论文被TCSVT接收
摘要
题为多级知识注入的VCR方法,作者认为计算机在推理方面弱势是由于:
(1)计算机不具备人类日积月累的各种常识
(2)计算机不具备认知级别的多步推理能力
针对以上两点,作者提出的CKRM网络分别包括多级知识迁移网络Multi-level knowledge transfer network和基于知识的推理Knowledge based reasoning两个模块来解决上述问题。
方法
Multi-level knowledge transfer network
多级知识迁移网络,多级知识迁移器分别是:
Cell-level Transfer、Layer-level Transfer、Attention-level Transfer
从知识迁移字面理解,不难得知作者使用的是迁移学习的手段,通过从源域学习到知识(视为是常识)来用于目标域中(即VCR任务中)。源域任务使用的是文本推理数据集SWAG(通过给定一个上下文,模型选择一个合适的结尾来描述接下来要发生事),任务形式如下:(正确答案已经黑体标出)