- 博客(59)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 VMware+Ubuntu16.04部署k8s多节点网络（四）——安装docker-ce以及k8s
前言在第二篇和第三篇已经介绍了Ubuntu集群的搭建，并且部署好了节点之间的网络设置使各个节点能够正常通信，同时还给各节点安装了SSH服务，让我们能够通过xshell等工具方便地连接。docker及k8s安装具体的安装步骤可见笔者在阿里云ECS服务器上的搭建k8s这篇文章(当时k8s版本为1.23.0)。此次安装时k8s版本已更新到1.23.1，注意下配置文件中需要填写版本号的位置此次搭建过程遇到的几个问题：1、没有关闭交换分区swap以及防火墙导致集群启动失败，解决方法参考这篇。注意是maste
2021-12-23 16:35:25
844
原创 VMware+Ubuntu16.04部署k8s多节点网络（三）——各节点开启SSH服务
前言上一篇已经配置好了我们ubuntu16.04集群中各节点的网络设置。为了方便对各节点进行操作，本篇给集群中各个节点安装SSH服务，这样一来我们可以直接利用xshell之类的ssh客户端连接到节点，而不需要在虚拟机上操作（宿主机和虚拟机之间来回切换还是挺麻烦的）。安装ssh1、SSH分为客户端openssh-client和openssh-server，ubuntu应该是默认安装了openssh-client的。安装命令如下sudo apt-get install openssh-clientsu
2021-12-23 13:30:00
779
原创 VMware+Ubuntu16.04部署k8s多节点网络（二）——配置各节点网络
背景在网络配置中，我们要配置虚拟机为固定的IP地址，避免使用DCHP动态分配IP（否则每次启动k8s集群各节点的IP都变化）。配置master节点网络在最终配置好多个节点的网络后，各个节点只有IP地址不同，其他配置均应相同。1、设置静态IP在需要克隆的机器上修改配置，方便后续操作。笔者这里以master虚拟机为例。首先对虚拟网络编辑，编辑->虚拟网络编辑器这一步需要授予管理员权限。简要说明一下，笔者这里子网地址设置成192.168.126.0子网掩码255.255.255.0
2021-12-22 18:32:49
1605
原创 VMware+Ubuntu16.04部署k8s多节点网络（一）——准备master节点和slave节点
软件包及镜像准备1、在这里下载VMware workstation2、准备虚拟机需要使用的镜像iso，可以在阿里云镜像站选择自己需要的，笔者使用的是aliyun ubuntu安装过程1、vmware workstation安装过程不赘述，可以在网上找个激活码密钥。2、在vmware中安装ubuntu16.04，可参考这篇，笔者不再赘述。在这里贴一下自己最终配置的参数信息：2个2核的处理器，共4核（建议不少于2核）4G内存20G硬盘网络：NAT3、在ubuntu16.04上安装vmwar
2021-12-22 11:50:00
719
原创 CentOS7安装vmware tools时出现Searching for a valid kernel header path… The path “” is not valid错误
主要原因需要保证kernel，kernel-headers，kernel-devel
2021-12-21 21:11:20
487
原创 利用k8s集群部署第一个容器化应用
准备工作按照这篇文章描述的流程搭建好k8s集群.部署nginxKubernetes 跟 Docker 等很多项目最大的不同，就在于它不推荐你使用命令行的方式直接运行容器（虽然 Kubernetes 项目也支持这种方式，比如：kubectl run），而是希望你用 YAML 文件的方式，即：把容器的定义、参数、配置，统统记录在一个 YAML 文件中，然后用这样一句指令把它运行.kubectl create -f 我的配置文件这里准备一个nginx-deployment.yaml文件,内容如下:
2021-12-11 15:04:11
2330
原创 从0到1搭建kubernetes集群
环境准备笔者是在阿里云租了三台ecs服务器，系统选用的ubuntu16.04(2核4G，建议CPU核数不少于2, 配置过低preflight checks阶段可能会报错). 使用几个虚拟机也可,有条件的可使用本地的几台物理机.部署master节点master节点上需要安装 docker cubeadm cubectl cubelet1.首先进行换源(不然下载很慢),更换阿里云的源.apt-get update && apt-get install -y apt-transport-
2021-12-10 21:21:34
1696
原创 graph-based pyramid global context reasoning for COVID-19 lung infections segmentation
论文来源https://arxiv.org/abs/2103.04235论文题为基于图的金字塔并带有显著性感知的全局上下文推理。研究领域为图像语义分割abstract自COVID-19爆发以来，对肺部CT图像感染分割一时成为研究的热点。感染区域分割的challenge在于：感染区域分布于多个肺叶上且感染块大小不一。本文提出了一个名为Graph-based Pyramid Global Context Reasoning(Graph-PGCR)模块来对各分散(disjoint)感染块的long-ran
2021-05-02 17:31:24
411
2
转载 Ubuntu18.04安装6.S081环境出现libjpeg.so.9: cannot open shared object file: No such file or directory问题
解决方案https://blog.csdn.net/weixin_41587491/article/details/105479822
2021-01-17 15:55:13
602
原创 pytorch分布式训练问题汇总
单机多卡训练问题1Traceback (most recent call last): File "train_tasks.py", line 493, in <module> main() File "train_tasks.py", line 237, in main torch.distributed.init_process_group(backend="nccl") File "/root/anaconda3/envs/vilbert/lib/pytho
2021-01-06 19:41:02
1765
原创 Cross-Modality Relevance for Reasoning on Language and Vision
背景这篇论文的工作来自密歇根州立大学，接收于ACL2020摘要本文的工作要解决的是challenge是在视觉-语言多模态数据上的学习和推理。作者指出，在多模态任务上，identify the relations between modalities，并在其上进行组合和推理是decision making的关键。另外，作者提到，在处理跨模态数据的学习表示和实现目标任务的推理方面有几个具有挑战性的研究方向（第二点正是本文的出发点）：1.alignment of representation space
2020-12-24 22:20:55
578
2
原创 图文匹配Visual-Semantic Matching by Exploring High-Order Attention and Distraction
背景本篇论文来自北大王选计算机研究所，接收于CVPR2020动机本文的出发点主要是两个：1.发掘高阶语义信息(object-predicatesubject triplet (物体之间)主谓宾三元组信息、object-attribute pair 实体-属性对信息)。这个点其实比较常见，这方面的工作已经挺多了2.确定图文对的匹配分数时把视觉干扰（visual distraction）带来的影响考虑进去。这个点比较有意思。作者针对这两个主要的motivation，也举了一些例子3列从左到右，依
2020-12-23 17:26:09
3192
原创 [bottom-up-attention] 提取object-level features问题汇总
1.执行generate_tsv.py时，出现以下异常信息Traceback (most recent call last):File "./tools/generate_tsv.py", line 26, infrom fast_rcnn.test import im_detect,_get_blobsFile "/home/vilbert_beta/bottom-up-attention/tools/../lib/fast_rcnn/test.py", line 17, infrom fast
2020-12-20 20:47:21
751
2
原创 Ubuntu18.04+CUDA10.1+OpenCV3.4.12+Python2.7环境下安装caffe
几个前提确认自己的机器上已经成功安装了NVIDIA driver、CUDA、cudnn详细步骤可参考之前写的安装说明说明按照Caffe官方安装教程的说明，有两种安装方式，make(官方版)和cmake(社区支持)，使用make过程中遇到不少坑，最终笔者使用cmake安装成功开始1.首先安装后续步骤需要的各种依赖包，依次输入以下命令sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev lib
2020-12-20 15:53:48
824
1
原创 Python升级部分库的版本后出现反引号错误
控制台报错提示(vilbert) root@wumingyan:/home/vilbert_beta# CUDA_VISIBLE_DEVICES=0 python eval_tasks.py --bert_model bert-base-uncased --from_pretrained save/VCR_Q-A-VCR_QA-R_bert_base_6layer_6conect-pretrained/pytorch_model_19.bin --config_file config/bert_base
2020-12-19 11:59:01
691
1
原创 Explainable and Explicit Visual Reasoning over Scene Graphs
背景本篇论文是南洋理工大学张含望组的工作，接收于CVPR2019摘要题为在场景图上的可解释和明确的视觉推理。作者提出的可解释和明确的神经模块(XNMs)，目标是打破在复杂的视觉推理任务中普遍使用的黑盒神经结构。XNMs仅仅由4种元类型组成，这将大大减少参数量，此外作者称设计的该种模型可以通过图注意力的方式来跟踪推理流程。方法论文既然已经提到了场景图，必然要有场景图的构造过程。场景图由图像中的objects组成，即图中的节点集合V={v1,⋅⋅⋅,vN}V = \{v_1, · · · , v_N\
2020-12-10 15:17:37
420
原创 Multi-level Knowledge Injecting for Visual Commonsense Reasoning
背景本篇的工作来自北大彭宇新组，论文被TCSVT接收摘要题为多级知识注入的VCR方法，作者认为计算机在推理方面弱势是由于：（1）计算机不具备人类日积月累的各种常识（2）计算机不具备认知级别的多步推理能力针对以上两点，作者提出的CKRM网络分别包括多级知识迁移网络Multi-level knowledge transfer network和基于知识的推理Knowledge based reasoning两个模块来解决上述问题。方法Multi-level knowledge transfer n
2020-12-09 22:26:06
364
原创 多模态融合(七)Multi-modality Latent Interaction Network for Visual Question Answering
背景本篇论文的工作来自于香港中文大学-商汤联合实验室。与DFAF出自同一作者之手。论文接收于ICCV2019摘要现有的解决VQA问题的方法大都是关注于各个独立的image regions于question words之间的联系(比如对intra-modal、inter-modal的联系建模，使用SA、GA等各注意力手段)，始终是从局部的视角来捕捉特征间的联系。(缺乏大局观，对全局特征利用甚少，这与人类回答VQA问题有所不同，人善于利用各种信息进行summarization，从全局的视野来完成这个任务)
2020-11-29 17:14:32
1474
原创 多模态融合(六)An Improved Attention for Visual Question Answering
背景论文来源https://arxiv.org/abs/2011.02164暂未接收 可信度值得考量这篇论文是在杭电MCAN论文基础上做的改进。摘要作者提出了一种Attention on Attention(AoA)的方法以及新的多模态融合方法以用于VQA任务中。动机作者认为，MACN中使用的SA和GA的不足：尽管这种注意力的表达方式和高度灵活，但它仍有局限性。具体来说，结果总是模型所关注的值对的加权组合。当模型所处的没有紧密相关的上下文时(例如，一个单词没有上下文单词或图像区域存在)，这
2020-11-29 16:42:27
659
1
原创 图学习(二)K-armed Bandit based Multi-modal Network Architecture Search for Visual Question Answering
背景研究机构：厦门大学纪荣嵘组论文接收于2020ACM MM摘要本文将NAS应用于VQA问题中，提出一种k-Armed Bandit based NAS(KAB-NAS)方法，简单来说即处理多模态特征的L个层由single-shot的方法搜索得出，每一层都提供K个候选算子而得名。此外，作者提出一个Automatic Graph Attention Network (AGAN)模块，通过三种图结构以及self-attention机制来学习图上的信息传播，是对传统的GCN的改进。NAS部分(非本篇的重
2020-11-29 15:57:17
390
原创 图学习(一)Graph Attention Networks
背景研究机构：Department of Computer Science and Technology；Centre de Visi´o per Computador, UAB；Montreal Institute for Learning Algorithms来源:ICLR2018摘要针对图结构的数据，本文提出了一种图注意力网络GAT，该网络使用masked self-attention用于解决之前图卷积模型中存在的问题。在GAT中，图中的每个节点可以根据邻节点的特征，为其分配不同的权值。GAT
2020-11-29 14:44:58
1181
原创 Video-text Matching:Polysemous Visual-Semantic Embedding for Cross-Modal Retrieval
背景用于跨模态检索的多义词的视觉语义嵌入，论文被CVPR2019接收摘要visual-semantic embedding的目标是找到一个公共空间，在这个空间中相关的视觉和文本彼此之间比较接近。当前大多数方法都学习将实例映射到共享空间中单个点的内嵌式嵌入函数（映射是一对一的）。不幸的是，内射式嵌入不能有效地处理具有多种可能含义的多义词实例。最好情况下，它只能找到不同含义的平均的表达。在这项工作中，作者提出了多义词实例嵌入网络（PIE-Nets），通过利用自注意力机制和 residual 学习，将局部
2020-11-22 16:04:17
525
原创 image-text matching(六)Visual Semantic Reasoning for Image-Text Matching
背景这篇论文是美国东北大学的工作，接收于ICCV2019动机图文匹配任务的challenge在于，当前的图像表示通常缺乏全局语义概念(?)。作者提出模型VSRN，包含一个推理模块来生成视觉特征表示。具体地，第一步先构建图像regions之间的关系矩阵，在其上使用GCN来捕捉带有语义联系的visual features；接下来，利用得到的relationship enhanced features，输入到GRU中执行全局推理。模型结构方法Region Relationship Reasoning
2020-11-22 15:34:21
874
1
原创 image-text matching(五)Adaptive Cross-modal Embeddings for Image-Text Alignment
背景本文提出的图文匹配模型名为ADAPT。ADAPT被设计用来：利用B模态的实例来调整A模态的实例的中间表示。这种自适应的调整能够过滤和增强模态间的重要信息，增强模型对重要的图/文细节的关注，从而引导向量表示的生成。（个人理解，本篇文章的创新点，设计了一种自适应的GA方式）方法整个流程是对称的，这里以T2I为例，最终得到的是带有文本注意的视觉特征表示。执行步骤，可以简单理解为先做一个GA，再做一个SA。在处理视觉模态时，文本模态的特征表示ccc投影得到两个指示向量γc\gamma_cγc和βc\b
2020-11-22 15:09:02
519
原创 ITM(四)Multi-Level Visual-Semantic Alignments with Relation-Wise Dual Attention Network for ITM
背景这篇论文的工作来自华南理工大学，论文接受于IJCAI2019动机现有的方法通常只考虑具体的object实体和keyword的对应关系，而不考虑抽象的对象，例如对于某种行为的描述。对某种行为的描述，在现实世界的描述文本中也普遍存在。处理抽象对象的challenge是它们之间没有显式的联系，不像图像中具体的objects那样。作者提出一种关系上的双重关注网络(relation-wise dual attention network，RDAN)用于图像-文本匹配。RDAN与普通的DNN网络的区别：（
2020-11-22 14:46:37
493
原创 image-text matching(三)Position Focused Attention Network for Image-Text Matching
背景本篇论文的工作来自西安交通大学、腾讯AI lab，接收于IJCAI2019动机前人的方法忽略了图像中的相对位置信息。一般来说，目标区域越靠近中心，就越有可能表达出图像的主要语义，而边缘区域则没有那么重要。(个人理解，本文的创新点在于把区域的位置信息进行编码，加入到图文匹配任务中)如此一来，一个直观且简单的做法是，对于靠近图像中心的区域赋予其更多的注意力。然而，并不是所有靠近中心的区域都那么重要，如图1(b)所示，woman(最重要的区域)位于左下角。因此，简单地根据固定位置(例如中心)将注意力分
2020-11-22 13:19:49
1030
原创 image-text matching(二)Expressing Objects just like words: Recurrent Visual Embedding for ITM
打发打发
2020-11-22 12:56:00
499
1
原创 image-text matching(一)Context-Aware Multi-View Summarization Network for Image-Text Matching
背景这篇文章是山东大学聂礼强组的工作，被ACM MM2020接收动机作者提到，图文匹配任务中，一张图像有多句与之同语义的captions，每句caption可以视为是从不同的角度来对图像内容进行刻画(在描述图像中不同的区域)，如下图的例子。这样一来，图像特征如何与多个来自不同视角的captions进行对齐是任务难点。方法本文提出名为CAMERA的网络模型，包含一个自适应门控self-attention模块AGSA来自适应地捕捉模态内上下文信息流、然后是一个Multi-View Summariza
2020-11-21 17:41:16
1401
原创 多模态融合(五)Dynamic Fusion with Intra- and Inter-modality Attention Flow for Visual Question Answering
背景本篇论文的工作来自香港中文大学。研究内容是VQA摘要学习有效地融合多模态特征是视觉问题回答的核心。本文提出了一种动态融合模态内、模态间信息流，即在视觉模态和语言模态之间传递动态信息的新方法。作者提到，在此之前，处理VQA问题所使用的方法基本分为两大派，模态内的关系学习或者模态间的关系学习。然而，在解决VQA问题的统一框架中，模态间和模态内的关系从来没有被联合研究过。本文认为，对于VQA问题，每个模态内的模态关系与模态间的关系是互补的，而现有的VQA方法大多忽略了这一点。方法Intermoda
2020-11-15 20:37:50
1698
原创 多模态融合(四)Generative Visual Dialogue System viaWeighted Likelihood Estimation
背景本篇论文研究的内容是视觉对话(Visual Dialogue，VD)系统。在这里我们主要学习它的多模态特征的交互和融合方式。摘要视觉对话系统是一个具有长上下文(问答历史记录)的多模态任务，同时每次作答也需要抽取、组合来自多模态数据的特征而后进行推理来得到答案。在视觉对话系统中，传统的基于最大似然估计的方法只从积极的回答中学习，而忽略了消极的消极，因此倾向于产生安全的或通用的回答(即回答不会出错，但也没有什么有价值信息)。为了解决这个问题，我们提出了一种全新的训练模式并结合加权似然估计的新方法。在此
2020-11-15 19:33:38
521
原创 多模态融合(三)MFAS: Multimodal Fusion Architecture Search
摘要本篇文章以多模态分类任务为契机，提出了一个新颖和通用的搜索空间，来找寻最优的多模态融合架构。为了在给定的搜索空间中为给定数据集找到最优的架构，本文使用了一种针对具体问题并基于序列模型的高效搜索方法。在一个toy dataset和另外两个真实的多模态数据集上的实验结果证明了将多模态融合作为神经结构搜索问题的价值。引言作者指出，通常多模态特征的融合是在最深层，也就是在文献中称为后期融合(late fusion)，这在一些多模态任务[40]上取得一定的成功。然而，在各自最深层的特征上融合模态不一定是解决
2020-11-15 16:53:15
2344
1
原创 多模态融合(二)Deep Multimodal Neural Architecture Search
本篇论文的工作也是来自杭州电子科技大学。在上一篇论文MCAN的基础上，对多模态特征的融合方式作进一步讨论。该篇文章已被ACM MM2020接收。摘要设计有效的神经网络结构是深度多模态学习的关键。现有的工作大多将关注点聚焦在单一任务上并手动进行网络结构的设计，这样的获得的模型均是任务特定的并且在多个任务间泛化能力弱。本文提出一种通用的深度多模态神经结构搜索框架（deep multimodal neural architecture search framework，MMnas) 用于多模态的多任务学习。在
2020-11-15 15:34:55
1606
原创 多模态融合(一)Deep Modular Co-Attention Networks for Visual Question Answering
摘要在VQA任务中，设计一个有效的Co-attention模块来将问题中的关键词和图像中的关键区域联系起来是解决问题的核心。此前，大多数成功的联合注意力学习尝试都是通过使用浅层模型来实现的，深度联合注意模型与浅层模型相比几乎没有改善。(浅层模型，模态之间的交互不够充分)本文提出Modular Co-Attention Network (MCAN)，该网络由一系列Modular Co-Attention (MCA) layers级联组成。每个MCA结构包含图像模态、文本模态的自注意力（self-attent
2020-11-15 11:17:01
4741
原创 视觉理解论文系列(五)Fusion of Detected Objects in Text for Visual Question Answering(B2T2)
背景这篇论文的工作来自Google研究院。作者提出B2T2模型(“Bounding Boxes in Text Transformer”)，B2T2是一个任务特定模型(文中也只在VCR任务进行了评测)，B2T2是一个将vision和language combine起来作为输入的single-stream架构。作者提到视觉特征与文本特征的early fusion是模型取得良好成效的关键。动机vision-linguistic任务的一大难点在于如何在神经架构中编码视觉和语言特征。诸如文本实体如何绑定到图像
2020-11-10 11:38:46
960
原创 视觉理解论文系列(四)ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Languag
摘要本篇论文的作者来自于佐治亚理工学院、俄勒冈州立大学、Facebook AI 研究院。本文提出ViLBERT(Vision-and-Language BERT)，该模型用来学习任务无关的图像和自然语言联合表征。ViLBERT在BERT的基础上拓展为多模态的双流模型，在各自的流中处理图像和文本输入，这两个流通过Co-attention transformer层进行交互。ViLBERT应用到下游任务时仅需对基础架构进行少量的调整，实验结果表明本文的ViLBERT在4个下游任务中显著优于面向特定任务的最先进模
2020-11-02 16:34:21
2588
1
原创 视觉理解论文系列(三)VL-BERT: PRE-TRAINING OF GENERIC VISUALLINGUISTIC REPRESENTATIONS
背景这是微软亚研院的工作，将纯文本设定的bert扩展到visual-linguistic场景，从预训练到fine-tune，可以用于多个下游任务。摘要作者提出了一个可预训练的用于学习视觉-语言任务通用表征的模型VL-BERT，VL-BERT以transformers为主干，可以同时接受V、L特征作为输入。预训练任务使用了包括visual-language数据集Conceptual Captions，纯文本语料数据集BooksCorpus&English Wikipedia。该预训练模型可以微调
2020-10-30 17:29:14
1434
原创 视觉理解论文系列(二)Heterogeneous Graph Learning for Visual Commonsense Reasoning
背景本篇的工作来自中山大学梁晓丹组，论文被NeurIPS 2019接收。论文介绍到，视觉语言任务(visual-language task)的解决方案粗略地分成两大类型，一种是强大的端到端结构(end-to-end)，
2020-10-19 00:39:45
640
2
原创 关于KL散度的理解
几个结论：1）信息熵：编码方案完美时，最短平均编码长度的是多少。2）交叉熵：编码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码长度的是多少。 平均编码长度 = 最短平均编码长度 + 一个增量3）相对熵：编码方案不一定完美时，平均编码长度相对于最小值的增加值。（即上面那个增量）KL散度Kullback-Leibler Divergence，即K-L散度，是一种量化两种概率分布P和Q之间差异的方式，又叫相对熵。在概率学和统计学上，我们经常会使用一种更简单的、近似
2020-09-30 16:18:26
961
原创 品牌内容发现(二)Learning Subjective Attributes of Images from Auxiliary Sources
背景这里要分析的一篇文章，题为“从辅助源学习图像的主观属性”。近些年，人工智能领域出现了对图像、视频“主观属性”的研究：以图像为例，“主观属性”指的是那些与图像内容信息非客观（客观信息如图像中的物体、颜色、纹理等等），高度依赖受众的主观感受、认知的属性（如喜爱、憎恶等）。如下面的例子:这个例子讲到了主观属性“喜爱”，假定将人们对于图像“喜爱”这个刻画程度以区间[0,1]来表示，对于不同的受众群体，被狗狗救过、对狗过敏、被狗咬伤这些经历，对主观属性“喜爱”的程度自然有深浅 。\qquad文章指出，主观
2020-09-30 15:55:34
167
原创 品牌内容发现(三)Learning Visual Elements of Images for Discovery of Brand Posts
背景之前讲到过，品牌内容发现(content discovery for brands)这一问题被定性为基于内容的排序学习问题。这种利用品牌的历史post来学习其与品牌的相关性从而对新的post进行排名的任务，主要难点有三：（1）品牌之间的相似性问题。多个品牌可能使用相同的品牌联想内容，导致本品牌的post与竞争对手使用的post仅有细微差别，难以区分（2）brand-post之间的稀疏性问题。事实上，几乎不会出现两个不同品牌都转发了某个帖子这样的情况。这也是与推荐场景所不同的地方（通常来讲，推荐任
2020-09-28 22:08:57
121
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人