Visual Dialog 论文阅读笔记

最新推荐文章于 2021-10-10 20:16:54 发布
最新推荐文章于 2021-10-10 20:16:54 发布
阅读量895 收藏 3
点赞数 1
分类专栏： 论文笔记 文章标签： visual dialog
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45347185/article/details/102594707
版权

@Visual Dialog 论文阅读笔记

Visual Dialog 论文阅读笔记

根据图像和历史对话推断语境回答问题对比：VQA只有一轮问答，没有储存历史信息如果下一个问题和上一个问题相关如存在指代，就非常有用与机器人讲话有两种情况：一是目的驱使，二是随便说

相关工作

视觉图灵测试：这个只有模式化的问答，我们是开放的回答，而且我们的数据库更加丰富基于文本的问答：融合了这个方面的研究以及图像，问题的答案不能出现在之前的对话中对话机器人 自由的对话和视觉对话的区别是视觉对话问答关系明确。所以视觉对话的任务是帮助人建立完整的模型

数据库

1 COCO2

2 人物对话基于COCO

让两个人一问一答 收集他们问答的数据这样的问答要求像自然的交谈 不是简洁的问答。 提问者看到字幕，回答者看到字幕和图像。也尝试了提问者看到模糊的图像。不过完整的数据库还是采用的字幕，因为应用更广，更接近实际
在这里插入图片描述

3两人对话基于AMT

因为AMT不支持两人对话

最低0.47元/天 解锁文章
坐在云朵上的kiwi
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
多模态之论文笔记BLIP，BLIP2，Instruct BLIP
pku_langzi的博客
05-18 3396
题目: BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation机构：salesforce research论文:任务: 视觉语言预训练特点: 联合视觉语言理解以及生成，web 文本数据bootstrapping方法: 模型侧设计了MED，数据侧用captioner以及filter进行文本的生成以及噪声过滤。
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 5960
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
论文阅读：《Visual Dialog》
10-24 1629
论文：https://arxiv.org/pdf/1611.08669.pdf 原文：http://www.hankcs.com/nlp/cs224n-visual-dialog.html 术语Visual Dialog，大致这么翻译（通俗理解为斗图）。你可以给聊天机器人发送图片，它能理解图片的意思，你们可以就图片内容展开对话；除了文本之外，让图片也成为交流的一部分；这可以帮助盲人理解周围或社交媒...
[visual dialog相关论文阅读]Two Causal Principles for Improving Visual Dialog
qq_45347185的博客
03-30 445
我们认真检查了模型和数据之间的因果关系 1.我们应该移除对话历史直接输入到答案模型，不然可能会有有害的偏见 2.历史，问题和答案是一个不可观察的混杂因素，导致训练数据存在虚假的相关性 我们提出了几种因果干预的算法 1.介绍 我们引入了因果推理 图结构 站在数据的原因-影响解释上，不仅仅是统计联系。贡献：提出了两个原则 过去模型图和作者提出模型图的区别 连接线可以看作是模态变换 P1显示我们应该移除对话历史的直接输入，因为建造者不允许从过去的问答对里面复制，所以H不能推到A。但是建造者鼓励.
论文笔记《Visual Dialog》
song_pipi的博客
06-15 3859
文章讨论视觉对话，让AI以自然语言与人类进行有意义的对话，讨论视觉内容。应用包括：1、帮助视障用户理解他们周围的环境或社交媒体内容。AI：'约翰刚从夏威夷度假时上传了一张照片'，人类：'太棒了，他在海滩吗？AI： 不，在山上。2、帮助分析师根据大量监测数据做出决定。人类：'上周有人进入这个房间吗？'AI：'是的，有27个实例出现在镜头'人类：'他们中是否有人携带黑色包？“3、与人工智能助理互动。人...
《Image-Question-Answer Synergistic Network for Visual Dialog》视觉对话的图像问题-答案协同网络论文理解
pamper_xu的博客
01-19 893
最近读了一篇文章《Image-Question-Answer Synergistic Network for Visual Dialog》，下面是我看完文章对文章的一点理解 一、文章摘要 图像，问题（与取消引用的历史记录相结合）以及相应的答案是视觉对话的三个重要组成部分。经典的可视对话系统集成了图像，问题和历史记录，以搜索或生成最佳匹配的答案，因此，这种方法极大地忽略了答案的作用。在本文中，作者设...
Visual-dialog:一个使终端中的对话框更容易的库
03-30
•••••• 库使终端中的对话框更容易。 该库仍在开发中。 API可以更改。 特征 :page_with_curl: 自动文本滚动。 :bookmark: 文字的颜色和格式。 :gear: 可入侵且可配置。 安装 使用点 使用pip安装Visual-dialog（该库在pypi上尚不可用）： python3 -m pip install git+git://github.com/Tim-ats-d/Visual-dialog 或将lib更新到最新版本： python3 -m pip install git+git://github.com/Tim-ats-d/Visual-dialog --upgrade 从来源 git clone https://github.com/Tim-ats-d/Visual-dialog.git cd Visual-dialog pip install . 要求 诅咒 可视对话框可与curses
Are You Talking to Me? Reasoned Visual Dialog Generation through Adversarial Learning
Hello World
04-25 935
这是CVPR2018 Oral的一篇关于做Visual Dialog Generation的文章，paper连接https://arxiv.org/abs/1711.07613，作者的homepage http://qi-wu.me/home.html，一作是University of Adelaide Chunhua Shen组的Assistant Professor，code暂时还没有被rel...
MUREL：Multimodal Relational Reasoning for Visual Question Answering阅读笔记
gxc19971128的博客
01-02 1061
引入 多模态注意力网络目前是设计真实图像的视觉问答（VQA）任务的现有技术模型，但是这种简单的机制不足以对复杂的推理特征或者高层次的任务进行建模。因此，本文提出了MuRel（多模态关系网络），一个能在真实图像中学习端到端推理的多模态关系网络。我们的贡献主要有两个：一是引入了MuRel单元，这是一个自动推理原语，能够表示问题和图像区域之间丰富的交互信息，它基于一个向量表示...
visDial.pytorch:pytorch中的可视对话框模型
05-18
visDial.pytorch pytorch中的可视对话框模型 介绍 这是我们的NIPS 2017论文两全其美的pytorch实现。 免责声明 这是基于Pytorch的可视对话框模型的重新实现代码。 我们的原始代码是在第一作者实习期间实施的。 本文中提出的所有结果均基于原始代码获得，由于存在严格的限制，因此无法发布。 这个项目是试图在我们的论文中再现结果。 引文 如果您认为此代码有用，请引用以下文章： @article{lu2017best, title={Best of Both Worlds: Transferring Knowledge from Discriminative Learning to a Generative Visual Dialog Model}, author={Lu, Jiasen and Kannan, Anitha and and
visdial-challenge-starter-pytorch:PyTorch中用于可视化对话框挑战的入门代码
05-04
可视对话框挑战入门代码 PyTorch入门代码。 如果您在研究中使用此代码，请考虑引用以下内容： @misc{desai2018visdialch, author = {Karan Desai and Abhishek Das and Dhruv Batra and Devi Parikh}, title = {Visual Dialog Challenge Starter Code}, howpublished = {\url{https://github.com/batra-mlp-lab/visdial-challenge-starter-pytorch}}, year = {2018} } v2019新增v2019 如果您是v2019用户（来自Visual Dialog Challenge 2018），则v2019是此入
论文-《MUREL: Multimodal Relational Reasoning for Visual Question Answering Remi》笔记
Vivinia的博客
10-26 1860
重点翻译拓展 摘要： 如今在涉及真是图像的VQA任务中，多模态注意力网络时性能最好的，但是这种简单的机制不足以对复杂的推理特征或者高层次的任务进行建模。因此，我们提出了MuRel，一个能在真实图像中学习端到端推理的多模态关系网络。我们的贡献主要有两个：一是引入了MuRel单元，一种通过丰富的向量表示来对问题和图像区域间的交互进行自动推理，和对成对结合区域关系进行建模的结构；二是...
论文笔记《Are You Talking to Me? Reasoned Visual Dialog Generation through Adversarial Learning》
song_pipi的博客
06-27 880
CVPR2018：https://arxiv.org/abs/1711.07613文章讨论的是视觉对话，目标是实现更Human-like的回复。举例：要实现这样的目标，文章摒弃了先前使用简单 MLE（最大似然估计）作为目标函数预测回复的方法，这个方法常用于机器翻译和VQA。这种简单的训练方法会导致安全的但一般、重复的回复。文章使用GAN和RL结合，训练两个子模块：一个生成器根据图片和对话历史生成回...
『论文笔记』Two Causal Principles for Improving Visual Dialog
Hoshino Ren的博客
03-11 599
Two Causal Principles for Improving Visual Dialog Motivation： 受益于最近一段时间VQA领域在Encoder-Decoder框架方面取得的成果，视觉对话任务中模型性能也得到了显著的提升。当前社区一直把VisDial当作VQA的姊妹任务，只是在VQA的基础上添加了对话历史(History)输入。 然而作者认为，VisDial本质上并非带有History的VQA。作者以因果推断的角度入手，引入两条因果原则，将所有的VisDial基线模型提升到SOTA。
多模态融合(四)Generative Visual Dialogue System viaWeighted Likelihood Estimation
csdn_tclz的博客
11-15 515
背景 本篇论文研究的内容是视觉对话(Visual Dialogue，VD)系统。在这里我们主要学习它的多模态特征的交互和融合方式。 摘要 视觉对话系统是一个具有长上下文(问答历史记录)的多模态任务，同时每次作答也需要抽取、组合来自多模态数据的特征而后进行推理来得到答案。在视觉对话系统中，传统的基于最大似然估计的方法只从积极的回答中学习，而忽略了消极的消极，因此倾向于产生安全的或通用的回答(即回答不会出错，但也没有什么有价值信息)。为了解决这个问题，我们提出了一种全新的训练模式并结合加权似然估计的新方法。在此
Visdial视觉问答游戏（pytorch无法入门系列）
lzheng012019的博客
10-10 872
一次想要运行https://github.com/batra-mlp-lab/visdial-rl的泪目经历 基于文章Learning Cooperative Visual Dialog Agents with Deep Reinforcement Learning（可以自行搜索下载） 因为用的是学校的云主机，之前还为搞代理搞了半天，最后发现好像连校园网就行（dog） 在ubuntu18.04环境下运行 获取源码 git clone https://github.com/batra-mlp-lab/visd
Dialog System 总结
热门推荐
Rachel Zhang的专栏
12-09 3万+
本文包括对话系统分类、数据汇总、和一些目前对话系统paper的总结、评价。 以下paper的“一句话评论”均为个人观念，评价标准苛刻，也有可能夸大了论文的缺点，希望与持不同意见的各位有识之士共同讨论。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值