VQA视觉问答系列1-----概述

开始写博客的时候比较有新鲜感,能坚持记录一些学习的过程、课程的随笔等等。后来忙着保研,忙完以后也一直懒得再更新博客,直到用github做了一个个人主页以后,才想着来给博客除除草。因为毕设要做VQA,读了很多相关论文,想着可以做一个系列,每篇博客记录几篇论文。

VQA(可视化问答)

形式:给一张图片和相关的问题,给出答案。cv和nlp的结合,一种难度较高的跨模态任务。
解码答案主要有两种不同的方式:一种将找到答案视为分类任务,由完全连接层生成输出并传入覆盖所有可能答案的 softmax 函数;一种是用比如lstm的解码器来生成答案。

常用数据集

DAQUAR 早期的真实世界图像问答数据集。
VQA(1.0, 2.0) 取自COCO数据集,包含真实图像和生成卡通图像,每张图片大约有3个问题,每个问题约有10个答案,2.0版本数据集降低了bias,是VQA challenge使用的数据集,有三类答案,对错、数量、其他。
Visual Genome 10万张图片,170万个问答对,每张图片有丰富的区域注释描述。问题类型多样,what,where,how,who,why,when。
Visual Madlibs 使用模板和对象信息自动生成描述性的填空

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值