wangxiaoxiaodeer的博客

DistributedDataParallel，torch.distributed相对于torch.nn.DataParalle 是一个底层的API，所以我们要修改我们的代码，使其能够独立的在机器（节点）中运行。与 DataParallel 的单进程控制多 GPU 不同，在 distributed 的帮助下，我们只需要编写一份代码，torch 就会自动将其分配给n个进程，分别在 n 个 GPU 上运行。不再有主GPU，每个GPU执行相同的任务。对每个GPU的训练都是在自己的过程中进行的。每个进程都从磁盘

Abstarct我们旨在将复杂视觉推理任务中普遍使用的黑盒神经体系结构分解为所提出的可解释和显式神经模块(XNMs)，该模块超越了现有的神经模块网络，使用场景图——对象作为节点，成对关系作为边——来用结构化知识进行可解释和显式推理。XNMs 允许让我们更加注意教机器如何“思考”，而不管它们“看起来”是什么样子。正如我们将在本文中展示的，通过使用场景图作为归纳偏差，1)我们可以以简洁和灵活的方式设计XNMs，即XNMs仅由4个元类型组成，这显著地减少了10到100倍的参数数量，以及2)我们可以根据图关..

Abstract现有的可解释的和显式的视觉推理方法只执行基于视觉证据的推理，而不考虑视觉场景之外的知识。为了解决视觉推理方法和真实世界图像的语义复杂性之间的知识差距，我们提出了第一个显式视觉推理方法，该方法结合了外部知识，并对高阶关系注意进行建模，以提高泛化能力和可解释性。具体来说，我们提出了一个知识合并网络，它为来自外部知识库的实体和谓词显式地创建和包含新的图节点，以丰富用于显式推理的场景图的语义。然后，我们创建一个新的图形关联模块，对丰富的场景图进行高阶关系关注。通过明确引入结构化的外部知识和高阶关

摘要——当浏览一幅图像时，人类可以推断出隐藏在图像中的东西，而不是视觉上明显的东西，例如物体的功能、人的意图和精神状态。然而，这种视觉推理范式对计算机来说非常困难，需要了解世界是如何工作的。为了解决这个问题，我们提出了基于常识知识的推理模型(CKRM)来获取外部知识，以支持视觉常识推理(VCR)任务，其中计算机被期望回答具有挑战性的视觉问题。我们的核心思想是:(1)通过多层次知识转移网络注入外部常识知识，实现细胞级、层级和注意力级的联合信息转移，从而弥合识别级和认知级图像理解之间的鸿沟。它可以有效地从不同的

基于知识的视觉问答问题除了图像的内容外，还涉及到回答需要外部知识的问题。这种知识通常有多种形式，包括视觉、文本和常识知识。然而，更多知识来源的使用也增加了检索更多不相关或嘈杂事实的机会，使得理解事实和找到答案变得困难。为了应对这一挑战，我们提出了使用外部知识的多模态答案验证，其思想是基于答案特定的知识检索来评估一组候选答案。这与现有的从大量无关事实中寻找答案的方法形成对比。我们的方法旨在了解每个答案应该信任哪些知识来源，以及如何使用该来源验证候选人。我们考虑一个多模态设置，依赖文本和视觉知识资源，包括使用谷

视觉问答(VQA)是一项耗时很长的任务，越来越受到计算机视觉和自然语言处理领域的关注。目前VQA的研究主要集中在可以通过直接分析问题和图像来回答的问题上。我们提出了一种概念感知算法ConceptBert，用于解决需要来自外部结构化内容的常识或基本事实知识的问题。给定自然语言中的图像和问题，ConceptBert需要图像的视觉元素和知识图(Knowl-edge Graph，KG)来推断正确的答案。我们介绍了一种多模态表示，它学习了一种联合概念-视觉-语言嵌入。我们使用ConceptNet KG对常识知识进行编

复杂视觉关系推理的模块化图注意网络Abstract视觉关系推理对于许多基于视觉和语言的任务至关重要，例如视觉问答和视觉语言导航。在这篇文章中，我们考虑了复杂重现表达理解任务的推理，该任务寻求在复杂查询引导的图像中定位目标对象。这种查询通常包含复杂的逻辑，因此对推理提出了两个关键挑战:(1)理解查询可能非常困难，因为它经常引用多个对象并描述它们之间的复杂关系。(ii)在由查询引导的多个对象之间进行推理并正确定位目标是非常重要的。为了应对这些挑战，我们提出了一种新的模块化图形注意力网络(MGA网络)

用于场景图问答的语言引导图神经网络图片不只是一个对象和属性的集合，他们代表了一个互相连接的对象的关系网，场景图作为图像的结构化图形表示，已经成为一种新的表现形式。场景图将物体编码为通过通过成对边关系连接的节点，...

GQA:一个用于真实世界视觉推理和合成问题回答的新数据集我们引入了GQA，一个新的用于真实世界视觉推理和合成问题回答的数据集，试图解决先前VQA数据集的主要缺点。我们开发了一个强大而健壮的问题引擎，它利用视觉基因组场景图结构来创建2200万个不同的推理问题，这些问题都带有表示其语义的功能程序。我们使用这些程序来获得对答案分布的严格控制，并提出了一种新的可调平滑技术来减轻问题偏差。伴随数据集的是一套新的衡量标准，用于评估一致性、基础和合理性等基本品质。对基线和最先进的模型进行了仔细的分析，为不同的问题类型

发表于2020年的一篇文章LRTA神经符号推理框架视觉问答目前的主要方法依赖于“黑盒”神经编码器()对图像问题进行编码，难以为预测过程提供直观的、人类可读的证明形式，本文提出了LRTA： Look Read Think Answer, 模型像人类一样一步一步地解决问题，并在每一步提供人类可读的证明形式。过程:1 学习首先将一幅图像转换成场景图2 将一个问题解析成多条推理指令3 使用循环的神经符号执行模块遍历场景图，一次执行一个推理指令。4 最后生成带有自然语...

Abstract: 提出了一种MultiModalFusion Transformer-BERT编码的多模态融合转换器，用于视觉问答（VQA），采用单独的BERT编码处理多模式数据（视频和文本），然后使用一种新的基于Transformer的融合方法将其融合在一起。...

CGMVQA：一种新的医学视觉问答分类与生成模型Abstract：本文提出了一个包含分类和答案生成功能的CGMVQA模型。先对图像进行数据增强，对文本进行标记化。使用预先训练好的ResNet152来提取图像特征，并将三种嵌入加在一起来处理文本，参照Bert的MLM训练任务，调整Mask layer及output layer用于特定的训练任务，分类或者生成task。...

解决方法：错误来源于Overrides包. 换成较旧的版本即可pip install overrides==4.1.2

公式+空格+#(num)注：1.num为你想设置的任意类型的公式编号2.空格及后部分直接在公式框内加，但是注意打完公式往右移动一个光标再添加空格，不要让空格和公式内容成为一体最后将光标置于右括号外，按键盘FN+Enter即可完后数学公式编号并居右显示。...

由于写文章需要用到 GB/T 7714的格式，但是mendeley上搜索到的GB 7714格式不太符合，因此尝试进行手动调整。以调整引用参考文献中的作者名称大小写为例打开 View，如下所示 2. 选择下面的More Styles,3. 在所需style上右键选择Edit Style4. 进入相应的网页界面之后进行修改，比如对作者名称大小写进行修改，设定首字母为大写，其余小写。同理也可以对其他格式进行修改，修改完毕之后在左上角点击Style -> Sa...

读取dat数据import pandas as pddata = pd.read_csv(‘文件名.dat’,header=None,encoding=‘utf-8’,delimiter="\t",quoting=csv.QUOTE_NONE)

有的时候需要用python处理二进制数据，比如，存取文件，socket操作时.这时候，可以使用python的struct模块来完成.可以用 struct来处理c语言中的结构体.struct模块中最重要的三个函数是pack(), unpack(), calcsize()pack(fmt, v1, v2, ...) 按照给定的格式(fmt)，把数据封装成字符串(实际上是类似于c结构体的字节流)unpack(fmt, string) 按照给定的格式(fmt)解析字节流stri...

下载安装包Neo4j Community:https://neo4j.com/download-center/#community或者直接下载wget http://dist.neo4j.org/neo4j-community-4.2.3-unix.tar.gz解压安装tar -axvf neo4j-community-4.2.3-unix.tar.gz Neo4j基于Java环境运行，因此需要先安装Jre，不然启动时会报以下错误ERROR: Unable to fin.

Vbox配置转发网卡配置第二张网卡，配置端口转发开启虚拟机的sshd服务su //切换root用户rpm -qa |grep ssh //查看是否已安装# 安装opensshsudo apt-get install openssh-server //如果没安装# 启动opensshsudo /etc/init.d/ssh start# 验证是否开启ssh, (出现sshd）ps -e | grep sshnetstat -antp |grep s..

将外接显示器分辨率设置为120%