Probabilistic Neural-symbolic Models for Interpretable Visual Question Answering (VQA一概率神经符号网络）

原文下载地址：https://arxiv.org/pdf/1902.07864.pdf

大概内容：

这一篇提出了一种神经符号表示模型，与其他 neural-symbolic model 不同的是，这一篇的模型前带了probabilistic。

 

背景：

什么叫做neural-symbolic model呢？

其实就是神经和符号网络模型的结合。

神经网络缺乏解释，符号网络偏偏就强在interpretable。神经网络参数的灵活性使它能探索很多未知的latent space。总之我认为这2种设计方式各有优缺点。

对于VQA的image i 和 question x, 生成一个program z, 这个program 像是一个得到最终答案的算法，而且每一步应该都是可执行的。这个program其实就对应标题中的symbolic。每一个program的component应该都是一个神经网络。通过执行所有 component 得到 最终解。

 

文章工作：

1. 提出了端到端的新的训练模型的办法，使模型整体契合度更高。

2.  生成的program 更加 直接、更易读、更容易被理解， supervision percentage 更低， learning efficiency 比较高。

3. 通过给定答案（可能与事实不符），生成得到这个答案的program，展现reason的能力。

4. 在CLEVER和SHAPES两大数据集上有提升。

 

创新点：

1. 使用了概率模型。提升了模型的program accuracy.

2.