Visual Dialog 论文阅读笔记
根据图像和历史对话推断语境回答问题对比:VQA只有一轮问答,没有储存历史信息如果下一个问题和上一个问题相关如存在指代,就非常有用与机器人讲话有两种情况:一是目的驱使,二是随便说
相关工作
视觉图灵测试:这个只有模式化的问答,我们是开放的回答,而且我们的数据库更加丰富基于文本的问答:融合了这个方面的研究以及图像,问题的答案不能出现在之前的对话中对话机器人 自由的对话和视觉对话的区别是视觉对话问答关系明确。所以视觉对话的任务是帮助人建立完整的模型
数据库
1 COCO2
2 人物对话基于COCO
让两个人一问一答 收集他们问答的数据这样的问答要求像自然的交谈 不是简洁的问答。 提问者看到字幕,回答者看到字幕和图像。也尝试了提问者看到模糊的图像。不过完整的数据库还是采用的字幕,因为应用更广,更接近实际
3两人对话基于AMT
因为AMT不支持两人对话