深度学习
文章平均质量分 85
fling_forever
这个作者很懒,什么都没留下…
展开
-
matlab的reshape转为numpy的reshape
问题描述:matlab的reshape转换是从列转换的,而numpy的reshape是从行转换的,故在将matlab代码转为python代码时会存在问题。解决方式如下:#python 代码中, numpy reshape下面加上order='F'res = arr.reshape(w, h * c, order='F')...原创 2021-08-10 15:56:10 · 327 阅读 · 0 评论 -
视觉Transformer (五) Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers
文章来源paper: https://arxiv.org/abs/2103.16553Motivation目标是基于语言的大规模图像和视频数据集的搜索。即给定某个语句,从大量图像检索库中找到与该语句描述最相似的图像。对于这个任务,采用单独将文本和视觉映射到联合嵌入空间的方法,即对偶编码器,可以应用到较大的检索规模数据中,其采用了近似最近邻搜索的方法。另一种使用交叉注意的视觉-文本转换器的方法可以显著提高联合嵌入的准确性,但由于测试时每个样本所需的交叉注意机制的计算成本价高,这种方法在实践中通常不适用原创 2021-06-25 17:32:19 · 880 阅读 · 2 评论 -
视觉Transformer (四) ViT - AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
论文来源paper: https://arxiv.org/abs/2010.11929code: https://github.com/google-research/vision_transformerMotivation虽然Transformer架构已经成为自然语言处理任务的标准,但它在计算机视觉方面的应用仍然有限。在视觉中,注意力要么与卷积网络一起应用,要么用于替换卷积网络的某些组件,同时保持它们的整体结构。作者证明了这种对cnn的依赖是不必要的,直接应用于图像patch序列的纯tran原创 2021-06-25 15:33:45 · 193 阅读 · 0 评论 -
视觉Transformer (三) VATT: Transformers for Multimodal Self-Supervised Learning from Video, Audio,Text
文章来源paper:https://arxiv.org/pdf/2104.11178Motivation作者提出了一个使用无卷积transformer架构从无标签数据中学习多模态表示的框架。具体来说,Video-AudioText Transformer (VATT)将原始信号作为输入,并提取足够丰富的多模态表征,从而有利于各种下游任务(例如检测、分类、跟踪)。作者使用多模态对比损失从头到尾训练VATT,并通过视频动作识别、音频事件分类、图像分类和文本到视频检索等下游任务评估其性能。此外,作者研究了一原创 2021-06-24 21:10:28 · 2774 阅读 · 5 评论 -
视觉Transformer (二) End-to-End Object Detection with Transformers
文章来源paper: https://arxiv.org/pdf/2005.12872.pdf,code: https://github.com/facebookresearch/detrMotivation作者提出了一种新的方法,将目标检测视为一个直接预测的问题。新框架称为DETR,主要组成部分是一个基于集合(set-based)的全局损失用来强制通过双部匹配得到唯一预测,以及一个Transformer编码器-解码器架构。给定一个固定的小的学习目标查询集,DETR找出目标和全局图像上下文之间的关系原创 2021-06-24 14:57:38 · 214 阅读 · 1 评论 -
视觉Transformer (一) Transformer Tracking
文章来源paper: https://openaccess.thecvf.com/content/CVPR2021/html/Chen_Transformer_Tracking_CVPR_2021_paper.htmlcode:https://github.com/chenxindlut/TransTMotivation之前的跟踪大部分都是采用correlation(互相关)融合方法计算模板和搜索帧之间的相似性,然而这种融合会丢失语义信息从而限于局部最优。从而,作者提出了更好的融合方式,即源于T原创 2021-06-24 11:17:16 · 1043 阅读 · 1 评论 -
(五) ATOM: Accurate Tracking by Overlap Maximization——从论文角度综述
paper: ATOM: Accurate Tracking by Overlap Maximization1文章目录paper: ATOM: Accurate Tracking by Overlap Maximization[^1]1.Motivation2.Method3.Train Process4.Test Process5.Experiment6.Conclusion1.Motivation现在的视觉跟踪器关注点都在功能发展强大的分类器,而忽略了更为准确地估计目标状态。现在的大多数跟踪器都是原创 2021-03-27 14:10:44 · 378 阅读 · 0 评论 -
(四) Distractor-aware Siames (DaSiamRPN)——从论文角度综述
paper: Distractor-aware Siamese Networks for Visual Object Tracking1Motivation1.尽管之前的Siamese系列跟踪网络取得了优秀的性能,但是他们都有3个主要的问题。(1)基于Siamese跟踪器的特征仅仅能够从non-semantic 背景中区分出前景。并且他们把semantic的背景信息当作是干扰物(Distractor)。(non-semantic 背景是指该背景中没有任何杂物的目标信息,可以理解为纯背景信息)(2)大原创 2021-03-25 17:55:33 · 224 阅读 · 0 评论 -
(三) SiamRPN从论文角度介绍
文章:High Performance Visual Tracking with Siamese Region Proposal Network11.Motivation尽管之前的目标跟踪器取得了不错的性能,但是他们中的大部分很难在实时性和高性能方面同时存在。从而,作者提出了SiamRPN网络,端到端的离线训练图像pairs。SiamRPN包括一个Siamese subnetwork(类似于SiamFC)用于特征提取,以及一个区域推荐网络RPN,该RPN包括分类和回归分支。与标准的RPN网络不同,作者使原创 2021-03-23 23:24:19 · 1330 阅读 · 0 评论 -
(二) Dynamic Siamese (DSiam)——从论文角度综述
Learning Dynamic Siamese Network for Visual Object Tracking 论文综述1Motivation尽管Siamese网络(SiamFC 实时)在提升目标跟踪准确性和实时性方面取得了巨大成功,但是他们和基于分类&更新的跟踪器(MDNet, DeepSRDCF, STCT 1~2帧/S)比仍有较大差距,主要是因为没有处理好目标的时序变化。基于匹配的方法在跟踪时缺乏在线更新过程,从而不能捕捉目标上的时序变化。为了捕捉时序上的外观变化,简单的想法是:原创 2021-03-23 11:28:26 · 748 阅读 · 0 评论 -
(一)Siamese目标跟踪——SiamFC训练和跟踪过程:从论文细节角度出发
SiamFC 简单介绍SiamFC基于深度学习的方法在速度上已经超过传统的相关滤波算法,实时性极强。SiamFC基于孪生网络,该网络有两个输入,一个是模板样本Z,另一个搜索样本X。而在单目标跟踪任务中,模板样本通常选取的是视频序列第一帧中的目标,而候选样本则是之后每一帧中的图像搜索区域(search image)。孪生网络的目的是在后续帧中找到与模板帧Z最相似的候选区域,该区域即为这一帧中的目标。SiamFC 实现方法SiamFC网络设计结构如上图所示,其中φ\varphiφ 代表特征提取方法,原文原创 2021-03-21 17:42:18 · 4512 阅读 · 7 评论 -
安装Siamese Box Adaptive Network for Visual Tracking环境:(linux 16.04 cuda10.1+torch1.5+torchvision0.6)
安装Siamese Box Adaptive Network for Visual Tracking环境:1.linux 16.04 安装cuda10.1+torch1.5+torchvision0.6pip install torch==1.5.1+cu101 torchvision==0.6.1+cu101 -f https://download.pytorch.org/whl/torch_stable.html2. 安装其它环境pip install pyyaml yacs tq.原创 2020-08-12 17:41:06 · 274 阅读 · 2 评论 -
多目标跟踪MOT16_Benchmark数据集下载-------------送人玫瑰,手留余香
多目标跟踪使用的数据集,可作学习使用!详细介绍链接:https://motchallenge.net/data/MOT16/#downloadMOT16下载地址:链接:https://pan.baidu.com/s/1qs67CWl9JsE9AE7L3j1pFw提取码:fzde复制这段内容后打开百度网盘手机App,操作更方便哦...原创 2020-06-02 16:28:03 · 1911 阅读 · 4 评论 -
linux16.04 从零开始搭建maskrcnn (!!亲测有效!!)
文章参考:https://github.com/pytorch/vision/blob/temp-tutorial/tutorials/torchvision_finetuning_instance_segmentation.ipynb环境搭建:1. 安装anaconda;2. 在anaconda中创建一个新的环境 (比如obj);3. 在obj环境中安装所需要的各种模块;...原创 2019-09-16 22:28:59 · 1643 阅读 · 1 评论