TPAMI 2024 | 将神经符号推理与变分因果推理网络相结合，实现解释性视觉问答

论文信息

题目：Integrating Neural-Symbolic Reasoning With Variational Causal Inference Network for Explanatory Visual Question Answering

将神经符号推理与变分因果推理网络相结合，实现解释性视觉问答

作者：Dizhan Xue; Shengsheng Qian; Changsheng Xu

论文创新点

• 1 神经符号推理与变分因果推断的整合：文章提出了一种名为程序引导的变分因果推断网络（Pro-VCIN）的方法，该方法整合了神经符号推理的过程可解释性和解释性视觉问答（EVQA）的结果可解释性。这种方法通过将推理过程转换为符号框架，并利用变分因果推断来构建预测答案和解释之间的因果关系，提高了模型的可解释性和可信度。
• 2 多模态程序Transformer的设计