视觉问答
圣托里尼的日落啊~
这个作者很懒,什么都没留下…
展开
-
检测评价函数 intersection-over-union(IoU)
1、概念在目标检测的评价体系中,有一个参数叫做 IoU ,简单来讲就是模型产生的目标窗口和原来标记窗口的交叠率。具体我们可以简单的理解为: 即检测结果(Detection Result)与 Ground Truth 的交集比上它们的并集,即为检测的准确率 IoU :IOU=DetectionResult⋂GroundTruthDetectionResult⋃GroundTruthIOU = \...转载 2020-03-22 09:14:38 · 338 阅读 · 0 评论 -
VQA + 知识库
转载自:链接Learning Visual Knowledge Memory Networks for Visual Question AnsweringAbstract视觉问题回答(VQA)需要联合图像和自然语言问题,其中许多问题不能直接或清楚地从视觉内容中得到,而是需要从结构化人类知识推理并从视觉内容中得到证实。该论文提出了视觉知识记忆网络(VKMN)来解决这个问题,它将结构化的人类知...转载 2020-01-03 11:17:58 · 551 阅读 · 0 评论 -
VQA + GNN
Graph-Structured Representations for Visual Question Answering(GraphVQA)Abstract通过structured representations of both scene contents and questions提升VQA性能。VQA的主要挑战在于对visual和text两个领域都需要理解。传统的模型中常常忽略场...原创 2019-12-30 11:58:13 · 1493 阅读 · 0 评论 -
Answer Them All! Toward Universal Visual Question Answering Models 通用VQA模型
Answer Them All! Toward Universal Visual Question Answering Models出自美国罗切斯特理工学院的Christopher Kanan组。文章目录AbstractIntroductionAbstractVQA的研究现状分两个阵营:专注于需要现实图像理解的VQA数据集;专注于检验推理能力的合成数据集。按理说,一个好的V...原创 2019-12-03 15:29:52 · 289 阅读 · 0 评论 -
attention机制在VQA中的应用
文章目录Question-guided image attentionSANs的模块架构1. Image Model2. Question Model3. the stacked attention model从数学的形式上看,attention机制只是简单地对输入项根据重要程度分配不同的加权参数,但这一机制模拟了人脑的认知模式,即根据实际需求而将有限的注意力聚焦于事物的关键部分,从而大大加强...原创 2019-11-28 09:39:30 · 544 阅读 · 0 评论