ECCV-2018-StructSiam: Structured Siamese Network for Real-Time Visual Tracking阅读笔记

于 2021-11-10 21:56:34 发布
阅读量3.1k 收藏
点赞数
分类专栏： 目标跟踪之孪生网络文献阅读 文章标签： 目标跟踪 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41442511/article/details/121257757
版权

论文地址：
http://openaccess.thecvf.com/content_ECCV_2018/papers/Yunhua_Zhang_Structured_Siamese_Network_ECCV_2018_paper.pdf
代码地址：(没有开源？)

一、 动机

现有的基于深度学习的目标追踪方法大多是从全局角度描述目标外观，对非刚性目标的外观变化和局部遮挡比较敏感，为解决该问题，作者提出了一种局部结构学习方法。该方法同时考虑目标的局部模式及其结构关系，更灵活地处理非刚性外观变化和部分遮挡，从而实现更精确的目标追踪。

二、 主要贡献

① 提出了一种局部模式检测方案，该方案能够自动识别目标物体具有鉴别性的局部部分。
② 通过可微运算实现了消息传递过程，并通过神经网络模块对其进行了重构。通过这样做，网络可以以端到端方式同时学习本地模式和本地模式之间的关系。这将产生更精确的跟踪结果。
③ 提出了一种新的基于Siamese网络的匹配框架，该框架将这些新技术依次应用和集成，并实时运行。在三个被广泛采用的基准上进行的广泛评估表明，所提出的方法在跟踪精度和效率方面优于最先进的方法。

三、 主要内容

算法架构：
在这里插入图片描述

由三个模块组成：局部模式检测器、上下文建模模块、集成模块
① 局部模式检测器
局部模式检测器由两个卷积层组成，核大小分别为11 × 11和5 × 5。每个卷积层后面都跟着一个批处理归一化层，一个ReLU层和一个3×3最大池化层。该模块以图像裁剪为输入，检测目标外观的局部模式。输出特征图有256个通道，每个通道对应一个特定的局部模式。这样的低层次特征保留有更详细的信息。但局部模式检测器有一个主要缺点，就是各个像素的通道互相独立，忽略了他们之间的上下文关系。因此，作者又在此基础上，引入了上下文建模模块进行细化。

② 上下文建模模块（没有看明白 😦 ，各位请赐教！）
为了将各个通道之间的联系性利用起来，利用CRF进行一系列计算。使得每个本地模式都接收来自其他模式的消息，并将其视为上下文信息，整个网络进行端到端训练。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
设Xi为与像素i相关的随机变量，c为feature map的通道大小。N为特征图中的像素个数,wi,j为卷积核和bi （i = 1, …, N）为像素i的偏置, 对局部模式响应图中的所有位置来说都是参数共享的，并且为了防止传递自身信息将wi,j=i设为0。将E(x)最小化可得到输入图像最可能的局部结构分布。

③ 集成模块
上下文建模模块的输出映射能够捕获精确的本地模式信息。由于不同的局部模式对应目标区域的不同位置，直接将模板与搜索区域关联起来容易产生变形。所以使用卷积操作使得最终地图中的每个像素都表示一个区域的局部模式信息，最终相关性找到包含与目标相同的局部模式的像素(作为目标的中心)。通过这种方法可以在一定程度上减小剧烈变形变化引起的特征变化。

四、 实验结果

训练数据集：ILSVRC2014 VID和 ALOV
评测数据集：OTB2013、OTB2015、VOT2016、
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

菜菜子hoho
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DWSiam《Deeper and Wider Siamese Networks for Real-Time Visual Tracking》阅读笔记
u013006452的博客
06-27 1237
Deeper and Wider Siamese Networks for Real-Time Visual Tracking一 动机二 分析三 方案四 框架设计1）定量分析2）定性分析3）设计方针4）自裁残差单元（ cropping-insideresidual，CIR）5）网络结构五 实验论文&工程地址 一 动机 DW顾名思义就是Deeper and Wider，之前比较成功的孪生网络...
AVE-ECCV18:ECCV 2018中不受约束的视频中的视听事件本地化
05-02
不受约束的视频中的视听事件本地化（出现在ECCV 2018中）AVE数据集和功能可以从下载AVE数据集。 和（7.7GB）也已发布。 在运行代码之前，请先将AVE数据集的视频放入/ data / AVE文件夹，将功能放入/ data文件夹。 ...
A Twofold Siamese Network for Real-Time Object Tracking
07-04
Observing that Semantic features learned in an image classification task and Appearance features learned in a similarity matching task complement each other, we build a twofold Siamese network, named SA-Siam, for real-time object tracking. SA-Siam is composed of a semantic branch and an appearance branch. Each branch is a similarity- learning Siamese network. An important design choice in SA-Siam is to separately train the two branches to keep the heterogeneity of the two types of features. In addi- tion, we propose a channel attention mechanism for the semantic branch. Channel-wise weights are computed ac- cording to the channel activations around the target posi- tion. While the inherited architecture from SiamFC [3] al- lows our tracker to operate beyond real-time, the twofold design and the attention mechanism significantly improve the tracking performance. The proposed SA-Siam outper- forms all other real-time trackers by a large margin on OTB-2013/50/100 benchmarks. 1. Introduction
ECCV 2018 StructSiam：《Structured Siamese Network for Real-Time Visual Tracking》论文笔记
lch的博客
12-04 2062
目录整体结构创新点实验结果        理解出错之处望不吝指正。        文章链接 整体结构        本文的模型结构如下图所示： 创新点        本文的改进我觉得十分新颖：“每张特征图学习跟踪目标的一个
CVPR2018已公布关于视频目标跟踪的论文简要分析与总结
yl小白菜
07-23 1万+
CVPR2018已公布关于视频目标跟踪的论文简要分析与总结   一，A Twofold Siamese Network for Real-Time Object Tracking 论文名称 A Twofold Siamese Network for Real-Time Object Tracking 简介 此算法在Sia...
SANet：Structure-Aware Network for Visual Tracking 阅读笔记
aiqiu_gogogo的博客
10-01 4796
本文概览 解决问题：由于CNN模型主要用于类间判别，所以大多数CNN用于目标跟踪的任务中对目标物体的相似物都很敏感； 主要方法：CNN+RNN，CNN主要提供目标物体和背景之间的判别形，RNN主要提供目标物体和相似物之间的判别性； 主要思路：使用RNN对目标物体的self-structure信息建模，利用目标物体的self-structure信息加强目标物体与其相似物的判别性，并将目标物体的RNN特
GTA-IM-Dataset:[ECCV-20] 3D人类场景交互数据集
03-19
具有场景上下文的长期人体运动预测，ECCV 2020（口服） ，， ，， ， 。 该存储库维护着我们的GTA室内运动数据集（GTA-IM），该数据集着重于室内环境中的人与场景之间的交互作用。我们从逼真的游戏引擎中收集3D人体...
eccv_Real-Time Compresssive Tracking
01-14
Abstract.It is a challenging task to develop effective and efficient appearance models for robust object tracking due to factors such as pose variation, illumination change, occlusion, and motion blur...
深度学习三维重建 MVSNet-ECCV-2018 （源码、pytorch版、原文、注释、译文、批注）
最新发布
08-12
深度学习三维重建 MVSNet——ECCV-2018 （源码、pytorch版、原文、译文、批注） 深度学习三维重建 MVSNet——ECCV-2018 （源码、pytorch版、原文、译文、批注） 深度学习三维重建 MVSNet——ECCV-2018 （源码、...
amc-models:[ECCV 2018] AMC
05-08
title={AMC: AutoML for Model Compression and Acceleration on Mobile Devices}, author={He, Yihui and Lin, Ji and Liu, Zhijian and Wang, Hanrui and Li, Li-Jia and Han, Song}, booktitle={Proceedings ...
CVPR 2017 SANet:《SANet: Structure-Aware Network for Visual Tracking》论文笔记
lch的博客
08-09 6235
  理解出错之处望不吝指正。   本文模型叫做SANet。作者在论文中提到，CNN模型主要适用于类间判别，对于相似物体的判别能力不强。作者提出使用RNN对目标物体的self-structure进行建模，用于提升模型的鉴别相似物体的能力。模型的整体结构如下：   从图中我们可以看出，作者的主要创新点分为以下几部分：     （1）使用RNN提升模型鉴别相似物体的能力；     （2）在不...
【StruckSiam（ECCV2018)】论文阅读
sinat_31184961的博客
02-26 370
Structured Siamese Network for Real-Time Visual Tracking 论文地址 这篇文章里面挺多地方不怎么懂，就记录一下，望指正。 Motivation 目前已有的很多tracker都只关注目标的整体模型表示而忽略了一些细节的信息，这样会使得tracker对一些blur，occlusion不够鲁棒； 然而一些基于局部模型的tracker都是将目标刚性地...
Siamese Network理解（附代码）
热门推荐
快来学习鸭～～～
02-02 8万+
本文主要通过论文来讲解下siamese network。 提起siamese network一般都会引用这两篇文章： 《Learning a similarity metric discriminatively, with application to face verification》和《 Hamming Distance Metric Learning》。本文主要通过论文《Learning
（C-RPN）Siamese Cascaded Region Proposal Networks for Real-Time Visual Tracking(CVPR2019)
凌空的桨
04-02 1914
Siamese Cascaded Region Proposal Networks for Real-Time Visual Tracking 论文链接 翻译稿 提取码: 7m7x Abstract RPN和孪生网络结合已经展现出良好的精度和效果。先前提出的单级孪生RPN跟踪算法存在类内干扰和大尺度变形的情况下退化。针对这些问题，我们提出了一个多阶段跟踪框架，即孪生级联RPN（C-RP...
SA-Siam阅读笔记：A Twofold Siamese Network for Real-Time Object Tracking
闲逸的炫鹰
07-17 5550
作者构建了两个孪生网络框架，称为SA-Siam，用于实时的目标跟踪。SA-Siam由语义分支和外观分支组成，每一个分支都是一个相似性学习孪生网络。
ECCV 2018 完整论文集 -- List & 下载链接
TomRen
09-02 1万+
下文列表为ECCV2018官网得到了今年接收论文列表，共779篇： 持续更新下载链接 Oral: Convolutional Networks with Adaptive Computation Graphs Progressive Neural Architecture Search Diverse Image-to-Image Translation via Dise...
目标跟踪CVPR，ICCV，ECCV文章及代码实时更新
博博有个大大大的Dream
08-24 2万+
Visual Trackers 目录 一、按年份分类 二、按类别分类 三、目标跟踪参考资料汇总 四、数据集 五、评价标准 一、按年份分类 ICCV2019 DiMP:Goutam Bhat, Martin Danelljan, Luc Van Gool, Radu Timofte. "Learning Discriminative Model Prediction for...
论文阅读：Siamese Cascaded Region Proposal Networks for Real-Time Visual Tracking
没手指的蓝胖子
04-16 1734
1、Abstract RPN和Siamese网络结合起来用于tracking取得了不错的效果。但是，对于相似干扰物和大的尺度变化这些问题，Siamese-RPN表现不好。为了解决这些问题，提出了一个多级tracking网络（Siamese Cascaded RPN，简称C-RPN），这个多级网络由孪生网络中的一系列从高深层到低浅层组成的RPN级联而成。 C-RPN的优点： 每个RPN都用前一阶段...
A Twofold Siamese Network for Real-Time Object Tracking 阅读笔记
aiqiu_gogogo的博客
03-01 7178
个人评价： 自从SiamFC利用Siamese网络解决目标跟踪问题后，很少有出色的基于SiamFC改进的目标跟踪工作。SiamFC通过训练Siamese网络用以在外观层面上区分两个物体是否属于一个目标，从而达到目标跟踪的目的。SiamFC的好处很多，其最核心的就是离线训练结合在线跟踪，以及end-to-end的跟踪模式，是少有的基于深度学习并且同时兼备性能和速度的跟踪器，所以基于SiamFC进行...
目前有哪些top-down方法的姿态估计网络，按年份梳理
05-09
- Simple Baselines for Human Pose Estimation and Tracking（Xiao等人，ECCV 2018） - MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network（Kocabas等人，ECCV 2018） - Pose Proposal...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值