神经网络往往难以应对包含高级的逻辑推理的问题,例如CLEVRER和ARCE数据集中,图像都是一堆立方体,任务有的是回答选择题,选择题选项为一些可能会发生的事件,如红色正方形撞上蓝色三角形等,模型要判断那些事可能发生或不可能发生。
为了解决这些问题,往往需要编写专门的模块,但这种做法对程序员要求高,而且只能应付某一类推理任务。本文将自注意力,自离散化和自监督三种已有方法结合,获得了表现良好的模型,该模型的表现甚至超过了含有专门模块的模型。
神经网络往往难以应对包含高级的逻辑推理的问题,例如CLEVRER和ARCE数据集中,图像都是一堆立方体,任务有的是回答选择题,选择题选项为一些可能会发生的事件,如红色正方形撞上蓝色三角形等,模型要判断那些事可能发生或不可能发生。
为了解决这些问题,往往需要编写专门的模块,但这种做法对程序员要求高,而且只能应付某一类推理任务。本文将自注意力,自离散化和自监督三种已有方法结合,获得了表现良好的模型,该模型的表现甚至超过了含有专门模块的模型。