视频目标分割
文章平均质量分 95
咆哮的阿杰
吾生也有涯,而知也无涯
展开
-
MAST: A Memory-Augmented Self-Supervised Tracker论文解读和代码剖析
官方代码作者开源的官方代码有一处错误,在代码剖析部分将指出。有人已经在github上提出了issue,作者一直没回应。我也是在阅读代码的时候发现了这个错误。背景VOS任务很少有使用自监督的,即在训练中不借助mask,只用frame image来训练。作者巧妙的在STM的基础上,将value换成frame自身,使用过去帧重构当前帧作为代理任务(proxy),实现自监督的vos。效果还不错,在davis val上是64的J&F。核心思想仍然是采用STM的memory bank的思想。mem原创 2021-01-16 14:32:27 · 719 阅读 · 2 评论 -
Video Object Segmentation with Adaptive Feature Bank and Uncertain-Region Refinement论文解读和代码实践
NeurPIS2020的论文官方代码基础的框架采用STM,但是提出了自适应调整memory bank和一种新颖的refinement操作。MotivationSTM是目前半监督VOS方向的SOTA论文方法,几乎后面的论文都是在STM的基础上改进。作者分析了STM的缺点:在测试的时候,每5帧增加一个memory,如果是长序列,memory bank可能会爆显存。每隔五帧,更新一次memory bank,可能会漏过一些关键帧作者提出Adaptive feature bank(AFB)来自适应原创 2020-11-08 16:00:05 · 960 阅读 · 0 评论 -
Video Object Segmentation using Space-Time Memory Networks细节记录
结构细节只用resnet的前4个stage。最大stride为16。query和memory的encoder(resnet50)不共享参数。memory不仅编码了前景mask,还有除了ROI目标之外的其他目标mask。测试阶段,frame和mask要pad 0,满足能被16整除query的输入只有当前帧图像特征align是在所有时间上做的。统一做softmax;在此之前,还对attention map除以了c\sqrt cc在训练和测试阶段,对所有的目标都统一进行soft aggregat原创 2020-11-01 11:40:03 · 1126 阅读 · 20 评论 -
记录一下Boost.python在Linux上的编译安装 & DAVIS数据集的temporal stability指标的使用
出于项目使用VOS领域的temporal stability指标的需要,先要配置Boost.python编译C代码,得到tstab.so文件,才能使用这个指标的计算代码。配置Boost.python首先去官网下载Boost源码,然后解压。进入解压的目录(boost_1_74_0),所用的版本是1.74.0现在一般都使用的是Py3.x,所以要设置用哪个python版本和boost.python绑定。通过which命令查看python的位置which python/home/yj/anaco原创 2020-09-09 20:05:21 · 542 阅读 · 6 评论 -
Zero-Shot Video Object Segmentation via Attentive Graph Neural Networks论文解读
前言这是一篇iccv19的oral paper,直到2020年一月作者才放出来,代码已经开源,用于视频分割。摘要这篇工作提出了一种新颖的注意力图神经网络,用于零样本视频目标分割(vos)。本文提出的AGNN将vos任务转化为在视频图上迭代的信息融合的过程。具体来说,Agnn建立了一张全连接的图,图的节点由视频帧构成,图的边由任意两个帧的关系构成。这种关系用一种可微的注意力机制描述。Agnn能...原创 2020-03-05 12:56:54 · 1802 阅读 · 1 评论 -
See More, Know More: Unsupervised Video Object Segmentation with Co-Attention Siamese Networks论文解读
这是我看的第一篇无监督视频目标分割的方法(UVOS),是一篇CVPR2019,之前一直看的是半监督VOS,因为思路卡壳,在无监督VOS方法中寻求一下灵感。相较于半监督已经开始在保持精度的情况重视推理速度,无监督还是看重精度,不过毕竟UVOS没有给要分割哪一个目标。官方代码idea作者提出一种co-attention,基于一个视频序列全局角度,来提升UVOS的精度。(确实领先目前的很多模型,d...原创 2019-09-17 21:23:32 · 3928 阅读 · 8 评论 -
RANet:Ranking attention Network for Fast Video Object Segmentation论文解读
这篇ICCV2019的论文可算是厉害了。单目标视频目标分割(VOS)中的SOTA效果,并且速度还惊人的快。Idea近年来,Match based和Propagation based 方法做快速VOS的效果显著。这篇工作就将这两个方法的优点融合进来。为了让读者能快速理解VOS的发展趋势,我简单说下什么是Match based和Propagation based 。Match based:代表...原创 2019-09-02 20:28:37 · 3771 阅读 · 10 评论 -
Fast Video Object Segmentation by Reference-Guided Mask Propagation论文解读
今天带了一篇视频目标分割具有里程碑意义的文章,为啥说它有里程碑意义,因为这篇论文相较于之前的VOS方法,不需要微调或者数据增强和online adaptation,以及多数据多流然后特征融合,具有非常快的速度的同时,还具有state of the art的精度。放在2018年(应该是2017年就出来了),是strongly novel的。CVPR2018,论文地址官方源码Idea作者提出了...原创 2019-08-24 17:37:02 · 946 阅读 · 3 评论 -
Proposal, Tracking and Segmentation (PTS)论文解读和代码解读
这是一篇在arxiv7月2号新上的一篇论文,做视频目标分割的。论文本身没有什么太多的创意,使用现有的一些模块组合,提出了一种串联结构,把VOS任务分成三步骤,每一步骤对应一个模块,最后的结果达到了state of the art 的效果。论文地址开源地址overview作者将VOS分层三个步骤object proposal network : 先用mask rcnn开源的RPN,通过I...原创 2019-07-12 11:39:53 · 864 阅读 · 0 评论 -
siammask:Fast Online Object Tracking and Segmentation: A Unifying Approach论文解读和代码详解
论文地址作者开源代码地址今天为大家带来一篇重量级文章,其实这篇是poster不是oral,但在我看来仍然是重量级的,因为这是使用孪生网络做视频目标分割(VOS)的第一篇工作,意味着后续会有更多基于此改进的VOS方法会被提出,我自己也是做VOS的,更要好好读一下,期待自己能做出一些东西!!!下面进入正文思想来源目前目标跟踪很多是使用相关滤波,最近两年,孪生网络为基础的目标跟踪取得了更不错的...原创 2019-05-27 15:06:15 · 1318 阅读 · 0 评论 -
Mask Track论文翻译
摘要受到近期深度学习在实例分割和目标追踪领域的进展,我们提出将视频目标分割当做引导式的实例分割概念。我们的模型在每一帧的基础上,使用前一帧对后一帧感兴趣目标的预测作为引导。我们论述了高精度的视频目标分割可以使用仅仅用静态图训练的深度网络实现。我们的方法的关键地方成分在于结合了在线和离线学习策略,离线学习目的是产生一个提炼对感兴趣目标的预测掩码,在线学习使得(allows to)捕捉到指定的目标...原创 2019-02-10 23:22:50 · 1729 阅读 · 1 评论