others
其他vision&language相关的知识
NeverMoreH
^_^
展开
-
<文本,场景图>解析实践
目录简介解析结果分析简介使用链接中的代码进行“文本-场景图”解析。解析结果分析Sentence: the beautiful girls likes dog. (此句子有语法错误是为了后面的解释)entities:一个list,里面包含所有实体目标entities[i][‘head’]:被描述的词(名词),去掉了修饰词,如:‘the girls’ -> ‘girls’entities[i][‘lemma_head’]:在head的基础上,去掉了单复数,如 : ‘girls’ ->原创 2020-12-03 12:19:26 · 569 阅读 · 0 评论 -
VALSE Webinar 20-29期 图文并茂, 让视觉与语言相得益彰
目录Richer and DeeperUnbiased Scene Graph GenerationPanel报告时间:2020年12月2日 (星期三)晚上20:00 (北京时间)主持人:杨猛 (中山大学)Richer and Deeper报告人:王鹏 (西北工业大学)Richer:下图中,进行VQA时需要模型具有不同的能力(如Reading能力),理解不同的信息,可能不止Visual信息,需要Knowledge信息等。Arxiv:给模型Text GT,准确率可以达到60%,原创 2020-12-02 22:08:32 · 438 阅读 · 0 评论 -
CVPR 2020 HAN:《Hypergraph Attention Networks for Multimodal Learning》论文笔记
目录简介动机简介下载链接动机# 贡献# 方法# 实验原创 2020-07-02 12:11:50 · 2679 阅读 · 4 评论 -
KDD 2017 《ReasoNet: Learning to Stop Reading in Machine Comprehension》论文笔记
目录简介动机贡献方法实验简介本文面向机器阅读理解问题(Machine Reading Comprehension),作者来自微软研究院。下载链接动机现有的方法可以分为两类:单步推理(Single turn)、多步推理(multiple turns)。多步推理是由单步推理衍生而来,单步推理又可以看做是多步推理的特例(turn=1)。这两种方法的共同点是,推理轮数固定,这不符合人类的阅读行为。人会根据当前是否得到了足够的信息,决定中止阅读或继续阅读。本文基于此动机,提出ReasoNet,可以动态决定推原创 2020-07-01 13:48:38 · 242 阅读 · 0 评论 -
CVPR 2020 《Context-Aware Group Captioning via Self-Attention and Contrastive Features》论文笔记(数据集)
目录简介动机贡献方法实验简介本文提出了一个新任务——Group Captioning,就是在一堆图片中,对特定的几个图片生成caption,生成的caption要具备选定的图片的特性,且不包含其他未选定的图片的特性。下载链接动机现有方法都只侧重于单张图片的captioning,而现实世界中,往往需要分组描述。贡献提出一个新的task——group captioning。提出了一种learning based的学习一组图像特征的方法。提出了新的数据集——Stock Captions。原创 2020-06-29 10:26:13 · 626 阅读 · 0 评论 -
CVPR 2020 《Transform and Tell: Entity-Aware News Image Captioning》论文笔记(数据集)
目录简介动机贡献方法实验简介本文是新闻图像标注,和常见的Image Captioning任务不太一样。下载链接News Image Captioning中没有object-level的标注,难点在于,将text和image进行对齐。动机此task存在两个challenges:1.它们依赖于真实世界的知识,特别是关于已命名实体的知识。2.它们通常有丰富的语言说明,包括不寻常的词。对于第一个挑战,本文通过一个多模式、多头注意机制,将标题中的单词与图像中的人脸和物体联系起来进行解决。对于第二个挑战,原创 2020-06-29 10:04:59 · 959 阅读 · 0 评论 -
ICCV 2019 《Robust Change Captioning》论文笔记(数据集)
目录简介动机贡献方法实验简介本文出自加州大学伯克利分校。这篇文章既不是image captioning,也不是video captioning,而是change captioning,具体什么意思呢,看下文吧。动机贡献方法实验...原创 2020-04-03 13:02:24 · 956 阅读 · 0 评论