- 博客(71)
- 收藏
- 关注
RSS订阅原创 分布式数据并行DistributedDataParallel
DistributedDataParallel，torch.distributed相对于torch.nn.DataParalle 是一个底层的API，所以我们要修改我们的代码，使其能够独立的在机器（节点）中运行。与 DataParallel 的单进程控制多 GPU 不同，在 distributed 的帮助下，我们只需要编写一份代码，torch 就会自动将其分配给n个进程，分别在 n 个 GPU 上运行。不再有主GPU，每个GPU执行相同的任务。对每个GPU的训练都是在自己的过程中进行的。每个进程都从磁盘
2022-01-01 00:59:04
721
原创 Explainable and Explicit Visual Reasoning over Scene Graphs
Abstarct我们旨在将复杂视觉推理任务中普遍使用的黑盒神经体系结构分解为所提出的可解释和显式神经模块(XNMs)，该模块超越了现有的神经模块网络，使用场景图——对象作为节点，成对关系作为边——来用结构化知识进行可解释和显式推理。XNMs 允许让我们更加注意教机器如何“思考”，而不管它们“看起来”是什么样子。正如我们将在本文中展示的，通过使用场景图作为归纳偏差，1)我们可以以简洁和灵活的方式设计XNMs，即XNMs仅由4个元类型组成，这显著地减少了10到100倍的参数数量，以及2)我们可以根据图关..
2021-12-30 18:24:04
1654
原创 Explicit Knowledge Incorporation for Visual Reasoning
Abstract现有的可解释的和显式的视觉推理方法只执行基于视觉证据的推理，而不考虑视觉场景之外的知识。为了解决视觉推理方法和真实世界图像的语义复杂性之间的知识差距，我们提出了第一个显式视觉推理方法，该方法结合了外部知识，并对高阶关系注意进行建模，以提高泛化能力和可解释性。具体来说，我们提出了一个知识合并网络，它为来自外部知识库的实体和谓词显式地创建和包含新的图节点，以丰富用于显式推理的场景图的语义。然后，我们创建一个新的图形关联模块，对丰富的场景图进行高阶关系关注。通过明确引入结构化的外部知识和高阶关
2021-12-29 17:37:51
1346
原创 Multi-Level Knowledge Injecting for Visual Commonsense Reasoning
摘要——当浏览一幅图像时，人类可以推断出隐藏在图像中的东西，而不是视觉上明显的东西，例如物体的功能、人的意图和精神状态。然而，这种视觉推理范式对计算机来说非常困难，需要了解世界是如何工作的。为了解决这个问题，我们提出了基于常识知识的推理模型(CKRM)来获取外部知识，以支持视觉常识推理(VCR)任务，其中计算机被期望回答具有挑战性的视觉问题。我们的核心思想是:(1)通过多层次知识转移网络注入外部常识知识，实现细胞级、层级和注意力级的联合信息转移，从而弥合识别级和认知级图像理解之间的鸿沟。它可以有效地从不同的
2021-12-27 14:59:50
1062
原创 Multi-Modal Answer Validation for Knowledge-Based VQA
基于知识的视觉问答问题除了图像的内容外，还涉及到回答需要外部知识的问题。这种知识通常有多种形式，包括视觉、文本和常识知识。然而，更多知识来源的使用也增加了检索更多不相关或嘈杂事实的机会，使得理解事实和找到答案变得困难。为了应对这一挑战，我们提出了使用外部知识的多模态答案验证，其思想是基于答案特定的知识检索来评估一组候选答案。这与现有的从大量无关事实中寻找答案的方法形成对比。我们的方法旨在了解每个答案应该信任哪些知识来源，以及如何使用该来源验证候选人。我们考虑一个多模态设置，依赖文本和视觉知识资源，包括使用谷
2021-12-27 11:12:56
1441
原创 ConceptBert: Concept-Aware Representation for Visual Question Answering （2020）
视觉问答(VQA)是一项耗时很长的任务，越来越受到计算机视觉和自然语言处理领域的关注。目前VQA的研究主要集中在可以通过直接分析问题和图像来回答的问题上。我们提出了一种概念感知算法ConceptBert，用于解决需要来自外部结构化内容的常识或基本事实知识的问题。给定自然语言中的图像和问题，ConceptBert需要图像的视觉元素和知识图(Knowl-edge Graph，KG)来推断正确的答案。我们介绍了一种多模态表示，它学习了一种联合概念-视觉-语言嵌入。我们使用ConceptNet KG对常识知识进行编
2021-12-25 17:56:05
1249
原创 Modular Graph Attention Network for Complex Visual Relational Reasoning
复杂视觉关系推理的模块化图注意网络Abstract视觉关系推理对于许多基于视觉和语言的任务至关重要，例如视觉问答和视觉语言导航。在这篇文章中，我们考虑了复杂重现表达理解任务的推理，该任务寻求在复杂查询引导的图像中定位目标对象。这种查询通常包含复杂的逻辑，因此对推理提出了两个关键挑战:(1)理解查询可能非常困难，因为它经常引用多个对象并描述它们之间的复杂关系。(ii)在由查询引导的多个对象之间进行推理并正确定位目标是非常重要的。为了应对这些挑战，我们提出了一种新的模块化图形注意力网络(MGA网络)
2021-12-24 17:53:39
874
原创 GraphVQA: Language-Guided Graph Neural Networks for Scene Graph Question Answering
用于场景图问答的语言引导图神经网络图片不只是一个对象和属性的集合，他们代表了一个互相连接的对象的关系网，场景图作为图像的结构化图形表示，已经成为一种新的表现形式。场景图将物体编码为通过通过成对边关系连接的节点，...
2021-12-24 10:28:55
747
原创 GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering
GQA:一个用于真实世界视觉推理和合成问题回答的新数据集我们引入了GQA，一个新的用于真实世界视觉推理和合成问题回答的数据集，试图解决先前VQA数据集的主要缺点。我们开发了一个强大而健壮的问题引擎，它利用视觉基因组场景图结构来创建2200万个不同的推理问题，这些问题都带有表示其语义的功能程序。我们使用这些程序来获得对答案分布的严格控制，并提出了一种新的可调平滑技术来减轻问题偏差。伴随数据集的是一套新的衡量标准，用于评估一致性、基础和合理性等基本品质。对基线和最先进的模型进行了仔细的分析，为不同的问题类型
2021-12-23 13:53:07
1500
原创 （VQA）LRTA: A Transparent Neural-Symbolic Reasoning Framework with Modular Supervision for Visual Que
发表于2020年的一篇文章LRTA神经符号推理框架视觉问答目前的主要方法依赖于“黑盒”神经编码器()对图像问题进行编码，难以为预测过程提供直观的、人类可读的证明形式，本文提出了LRTA： Look Read Think Answer, 模型像人类一样一步一步地解决问题，并在每一步提供人类可读的证明形式。过程:1 学习首先将一幅图像转换成场景图2 将一个问题解析成多条推理指令3 使用循环的神经符号执行模块遍历场景图，一次执行一个推理指令。4 最后生成带有自然语...
2021-12-22 14:13:37
566
原创 MMFT-BERT: Multimodal Fusion Transformer with BERT Encodingsfor Visual Question Answering
Abstract: 提出了一种MultiModalFusion Transformer-BERT编码的多模态融合转换器，用于视觉问答（VQA），采用单独的BERT编码处理多模式数据（视频和文本），然后使用一种新的基于Transformer的融合方法将其融合在一起。...
2021-07-25 14:44:09
294
原创 CGMVQA: A new Classification andGenerative Model for Medical VisualQuestion Answering
CGMVQA：一种新的医学视觉问答分类与生成模型Abstract：本文提出了一个包含分类和答案生成功能的CGMVQA模型。先对图像进行数据增强，对文本进行标记化。使用预先训练好的ResNet152来提取图像特征，并将三种嵌入加在一起来处理文本，参照Bert的MLM训练任务，调整Mask layer及output layer用于特定的训练任务，分类或者生成task。...
2021-07-10 00:33:06
323
原创 Allennlp执行train时 出现 field None type相关的报错
解决方法：错误来源于Overrides包. 换成较旧的版本即可pip install overrides==4.1.2
2021-06-29 10:37:15
1182
1
转载 word插入公式及编号右对齐
公式+空格+#(num)注：1.num为你想设置的任意类型的公式编号2.空格及后部分直接在公式框内加，但是注意打完公式往右移动一个光标再添加空格，不要让空格和公式内容成为一体最后将光标置于右括号外，按键盘FN+Enter即可完后数学公式编号并居右显示。...
2021-05-28 20:06:31
1033
原创 Mendeley Destop引用格式自定义调整
由于写文章需要用到 GB/T 7714的格式，但是mendeley上搜索到的GB 7714格式不太符合，因此尝试进行手动调整。以调整引用参考文献中的作者名称大小写为例打开 View，如下所示 2. 选择下面的More Styles,3. 在所需style上右键选择Edit Style4. 进入相应的网页界面之后进行修改，比如对作者名称大小写进行修改，设定首字母为大写，其余小写。同理也可以对其他格式进行修改，修改完毕之后在左上角点击Style -> Sa...
2021-05-14 12:32:10
2779
原创 pandas数据读取（dat, csv）
读取dat数据import pandas as pddata = pd.read_csv(‘文件名.dat’,header=None,encoding=‘utf-8’,delimiter="\t",quoting=csv.QUOTE_NONE)
2021-04-17 11:58:15
1214
原创 Python使用struct处理二进制
有的时候需要用python处理二进制数据，比如，存取文件，socket操作时.这时候，可以使用python的struct模块来完成.可以用 struct来处理c语言中的结构体.struct模块中最重要的三个函数是pack(), unpack(), calcsize()pack(fmt, v1, v2, ...) 按照给定的格式(fmt)，把数据封装成字符串(实际上是类似于c结构体的字节流)unpack(fmt, string) 按照给定的格式(fmt)解析字节流stri...
2021-03-26 16:52:43
80
原创 Linux下的neo4j搭建
下载安装包Neo4j Community:https://neo4j.com/download-center/#community或者直接下载wget http://dist.neo4j.org/neo4j-community-4.2.3-unix.tar.gz解压安装tar -axvf neo4j-community-4.2.3-unix.tar.gz Neo4j基于Java环境运行，因此需要先安装Jre，不然启动时会报以下错误ERROR: Unable to fin.
2021-03-09 17:52:18
349
原创 Virtualbox设置虚拟网卡并进行ssh连接
Vbox配置转发网卡配置第二张网卡，配置端口转发开启虚拟机的sshd服务su //切换root用户rpm -qa |grep ssh //查看是否已安装# 安装opensshsudo apt-get install openssh-server //如果没安装# 启动opensshsudo /etc/init.d/ssh start# 验证是否开启ssh, (出现sshd）ps -e | grep sshnetstat -antp |grep s..
2021-03-03 00:14:13
1154
1
原创 windows下的TortoiseGit安装、配置
下载及安装从官网下载：https://tortoisegit.org/download/选择相应版本默认选项安装：选择git的配置配置全局git用户信息（不用于验证）TortoiseGit的使用右键可以看到git clone等相关选项打开setting， 可以进行配置设置及修改references:http://www.likecs.com/show-61292.html...
2021-03-01 17:15:53
230
原创 windows下git安装及配置
下载及安装官网下载相应版本的git：https://git-scm.com/downloads安装：环境路径选择推荐选项，默认方式行尾设置为unix-style验证管理git生成ssh-key在git-bash中通过 ’ssh-keygen -t rsa -C 邮箱‘ 命令生成ssh-key， 路径和密码都可以通过回车选择默认路径，和不设置密码’ssh-keygen -t rsa -C 'xxx.com'git 的部分命令信息#...
2021-03-01 15:55:05
189
原创 Virtualbox共享文件夹没有访问权限
共享文件夹的所有者为root, 所属组是vboxsf。解决方法：将登录用户添加到vboxsf组中，执行如下命令：sudo usermod -aG vboxsf $(user)指令参考: usermod -aG <group> <user>。将用户<user> 加入到<group> 中，其中选项[-aG] 是追到组重启虚拟机即可。...
2021-02-20 21:13:41
1779
原创 docker的操作命令及部分问题
# 出现ps commmand命令无法识别，使用如下命令安装apt-get update && apt-get install procps# ping命令无法识别apt install iputils-ping# ifconfig apt install net-tools -y
2021-02-18 19:09:27
72
原创 pip安装报错： error: command ‘gcc‘ failed with exit status 1
安装所需依赖sudo apt install libffi-devsudo apt-get install python3-devsudo apt-get install build-essential
2021-02-10 15:11:55
388
原创 ubuntu下安装docker
参考：https://www.runoob.com/docker/ubuntu-docker-install.html
2021-02-10 14:24:10
66
原创 VirtualBox安装ubuntu及相关配置
下载VirtualBox下载：https://www.virtualbox.org/wiki/Downloadsubuntu下载：http://releases.ubuntu.com/18.04/安装安装VirtualBox之后，在设置->存储中配置ubuntu.ios文件，之后启动该并安装ubuntu系统安装增强功能...
2021-02-09 15:09:54
86
原创 删除双系统中的ubuntu
参考：https://blog.csdn.net/bubbleyang/article/details/98469145
2021-02-03 20:55:29
132
原创 ubuntu系统安装后网卡配置
依赖配置安装网卡驱动需要配置 gcc、make 等环境，有以下两种方法(离线) 通过系统u盘的pool/main中deb文件安装依赖 通过手机usb共享网络安装 插上无线网卡，sudo apt-get update sudo apt-get install git dkms git clone https://github.com/ptpt52/rtl8812au.git cd rtl8812au sudo make -f Makefile.dkms install ...
2021-02-03 18:51:44
565
原创 conda配置国内源
在C:\Users\xxx\.condarc文件中进行如下修改：channels: - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/win-64/ - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/win-64/ - defaultsssl_verify: trueshow_channel_urls: true更新conda upgrade --.
2021-02-02 23:38:57
303
原创 Windows下的Neo4j安装
配置JDK环境官网下载jdk, 并进行安装，https://www.oracle.com/java/technologies/javase-jdk15-downloads.html安装neo4jhttps://neo4j.com/product/, 下载desktop并进行安装
2021-02-01 18:06:24
72
原创 ubuntu安装及配置环境
下载ubuntu进入官网：https://ubuntu.com/download/desktop， 下载相应的ubuntu，这里选择下载20.04.1 LTS安装ubuntu安装则通过配置u盘安装，也可以通过EasyBCD进行安装，详细安装搜索相关教程。EasyBCD不行时，则使用easyUEFI进行设置，如果两者都不行，则使用bootice进行设置。Ubuntu分区设置# 查看磁盘及分区情况sudo fdisk -lUbuntu设置问题...
2021-01-29 13:05:47
170
原创 VScode配置远程开发环境
安装VsCode官方插件在vscode中安装sftp插件:按快捷键ctrl+shift+p打开命令窗口，输入sftp:config,按回车键，之后创建一个文件夹生成sftp.json文件，这个文件可以配置所要连接的服务器信息。host表示的是服务器的ip地址，password表示的是服务器的密码，remotePath表示的是所映射到的服务器目录。至此就可以实现代码的远程调试了。点击ssh连接，编辑相应的config文件，然后在config中这么填写在VS cod.
2021-01-18 23:38:51
672
原创 anconda环境下配置nodejs
您可以肯定使用conda为nodejs程序创建虚拟环境 $ conda create -yn myapp nodejs $ conda激活myapp $ node --version v8.11.3 $ npm --version 5.6.0 然后在环境中 myapp ，您可以进行所有应用开发，一旦完成，删除也很容易： $ conda env remove -yn myapp 除了环境，您还可以使用前缀。像这样： $ conda create -y.
2021-01-18 20:49:55
3199
原创 pycharm配置远程服务器及python环境
配置Deployment首先，在pycharm的菜单栏依次找到:Tools > Deployment > Configuration.配置服务器信息，及mappings的工作目录映射配置完成了之后，其实是相当于配置了一个ftp工具可以连接到服务器上，从而可以查看和修改服务器上的文件。你可以通过Tools > Deplotment > Browse Remote Host来打开相应的RemoteHost面板，这个面板显示的就是服务器上的文件，显示的范围是你在De
2021-01-06 21:32:59
979
原创 python中 keras 库中相关内容
参数 input_shape、input_dim和input_length在keras中，数据是以张量的形式表示的，不考虑动态特性，仅考虑shape的时候，可以把张量用类似矩阵的方式来理解。例如 [[1],[2],[3]] 这个张量的shape为（3,1） [[[1,2],[3,4]],[[5,6],[7,8]],[[9,10],[11,12]]]这个张量的shape为（3,2,2）, [1,2,3,4]这个张量的shape为（...
2021-01-06 15:56:25
136
原创 sklearn\utils\optimize.py“, line 243, in _check_optimize_result ).format(solver, result.status, resu
问题：File "C:\Optimization\OptimEnv\env369\lib\site-packages\sklearn\gaussian_process_gpr.py", line 504, in _constrained_optimization_check_optimize_result("lbfgs", opt_res)File "C:\Optimization\OptimEnv\env369\lib\site-packages\sklearn\utils\optimize.py
2021-01-06 12:04:28
547
原创 pip操作
生成requirements.txt文件pip freeze > requirements.txt安装requirements.txt依赖pip install -r requirements.txt查询install的参数pip help install常用的有pip install -U 升级某个包-r 安装requirements文件pip 修改来源的方式---pip 查看包等操作# 升级...
2021-01-05 18:46:27
118
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人