7.2 FCNT

最新推荐文章于 2024-07-11 11:54:15 发布
最新推荐文章于 2024-07-11 11:54:15 发布
阅读量1k 收藏 5
点赞数
分类专栏： 目标追踪 文章标签： 计算机视觉 神经网络 机器学习 算法 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40066957/article/details/106015449
版权

7.2 FCNT

学习目标

  • 目标

    • 说明FCNT的算法结构

  • 应用

    • 无

深度学习跟踪算法之前诞生了许多优秀的方法，它们是基于构建外观模型来进行跟踪的，这些方法又可以分为两种，一种是生成式，通过最小化重建误差来构建外观模型，另一种是判别式，通过构建一个分类器区分前景和背景（就是目标检测的思路），但是这些方法都是手工选取特征的，手工选取特征的种种不足就不多讲了，于是采用深度学习方法来进行跟踪。

7.2.1 FCNT(Visual Tracking with Fully Convolutional Networks)介绍

论文的贡献主要有以下三点：

  • 1、分析了图像分类上深度神经网络上不同层的特征的属性，以及对跟踪问题的影响。

  • 2、提出一种结合两种层次特征的跟踪算法，更好的选择特征，实现更加鲁棒的跟踪。

    • 顶层的CNN layer编码了更多的关于语义特征的信息并且可以作为类别检测器；

    • 而底层的CNN layer关注了更多局部特征，这有助于将目标从目标中分离出来。

    • a图表示的是ground truth，b图表示的是使用VGG的conv4-3，也就是第10层产生的热力图，c图是通过conv5-3也就是第13层产生的热力图。

较低维的CNN layer（conv4-3）能够更精准地表示目标的细粒度信息，而较高维的CNN layer（conv5-3）热力图显示较模糊，但对同类别的人也做出了响应。

  • 3、提出一种 feature 选择机制，剔除与跟踪目标对象干扰或不相关的特征图；更进一步提升跟踪精确度。

7.2.1.1 FCNT架构

跟踪算法基于 VGG-19，16层卷积 以及 3层 fc

  • 过程如下：

    • 1、将输入的视频帧，首先利用 VGG-19提取feature，然后分别利用 高层的特征，传送给 SNet 以及 GNet，然后分别将这两个特征图进行映射，最后根据一个干扰性判别器，选择其中的一个 heap map 作为最终的输出，给出跟踪目标的 bounding box。

    • 2、然后下一帧到来后，以上一帧预测结果为中心crop出一块区域，之后分别输入GNet和SNet，得到两个预测的heatmap,并根据是否有distractor决定使用哪个heatmap 生成最终的跟踪结果

FCNT 设计了特征选择网络，还为这两个层的选择特征映射单独设计了两个额外的通道（即 SNet 和 GNet ）： GNet 捕获对象的类别信息； SNet 将该对象从具有相似外观的背景中区分出来。

  • 1、 先把GNet输出的热力图作为目标候选。这是因为GNet使用的是顶层特征，能够更好地处理形变、旋转和遮挡等目标跟踪中的常见问题

  • 2、若画面中出现同类物体时GNet不能很好的处理，因此还需要计算有没有出现目标漂移的情况。其方法是计算在目标候选区域外出现相似目标的概率P，定义一个阈值，若P大于阈值时则认为出现了同类目标，这时候才利用SNet来定位目标的最终位置，是结果更加准确。

1、Feature Map选择：剔除与跟踪目标对象扰或不相关的特征图

2、目标定位：干扰feature maps通用feature map选择排除后，更复杂的模型获取更精确的跟踪效果。

图中 (c) 和 (d) 展示了目标定位的CNN设计。在第一帧feature map选择完成后，使用conv4-3 和conv5-3层特征分别构建SNet 和GNet。两个网络使用相同结构

  • 1、第一个卷积层的卷积核尺寸为9×9，输出36个feature maps

  • 2、第二个卷积层卷积核尺寸为5×5，输出前景热图

  • 3、两个卷积层都使用ReLU做非线性变换

计算过程略

7.2.1.2 训练以及使用

训练

  • 1、在第一帧中使用反向传播对50个迭代进行训练，以进行用于特征图选择和用于目标定位的GNet和SNet。

  • 2、在每个更新步骤对SNet进行3次迭代微调。

  • 3、学习率设置为1e-9，GNet和SNet的学习率设置为1e-7。对于conv4-3和conv5-3层，通过建议的特征选择方法选择的特征图的数量均设置为K = 384。以目标位置为中心的输入ROI区域的大小为386×386 pixel-s。

7.2.1.3 效果对比

  • 平均精确率在不同的条件下：光照变化llumination variation (IV), 平面外旋转out-of-plane rotation (OPR), 比例变化scale variation (SV), 遮挡occlusion (OCC), 形变deformation (DEF), 运动模糊motion blur (MB), 快速运动fast motion (FM), 平面内旋转in-plane rotation (IPR), out-of-view (OV), 背景混乱background cluttered (BC) and解析度低 low resolution (LR).

    • 红色和绿色是不同条件下的第一高和第二高的分数

7.2.2 总结

  • 了解FCNT的结构特点

 

 

 

开拖拉机的舒克。
关注
专栏目录
import covalent报错No module named ‘fcntl‘
hungita的博客
03-17 218
win系统是没有这个包的，需要自己在环境所在位置的“D:\Anaconda3\envs\QVR\Lib\site-packages”新建文件fcntl.py。
编译原理实验之语法分析(算符优先分析算法(C语言))
Rocky0429
12-08 1万+
#include <stdio.h> #include <math.h> #include <string.h> #include <stdlib.h> #include <iostream> #include <sstream> #include <algorithm> #include <set> #include <queue> #include <stack> #include <map>
FCNT
Major_S的博客
03-03 927
FCNT
fcnt记录锁
峰升的专栏
10-27 569
fcntl 记录锁 当我们有多个进程要访问同一个文件的时候，为了防止多进程访问导致的不一致，我们就要考虑进程间的同步问题了。fcntl是一个非常强大的函数，在这里我们可以使用它来给文件的某一个部分上锁。int fcntl(int filedes, int cmd, ... /* struct flock *flockptr */ ); 这是一个拥有可变参数的函数声明，filedes自然是要操作的
fcnt1函数介绍
最新发布
m0_74931584的博客
07-11 141
(1) fcnt1函数是一个多功能文件管理的工具箱，接收2个参数+1 个变参。的功能是从可用的fd数字列表中找一个比arg大或者和arg--样大的数字作为oldfd的。(2)cmd的样子类似于FXXX,不同的cmd具有不同的功能。F.DUPFD这个cmd的作用是复制文件描述符(作用类似于dup和dup2)，这个命令。么用就行了，其他的是类似的。其他的当我们在使用中碰到了一个fcntl的不认识的。就会出错，但是F_ DUPFD命令返回的是>=arg的最小的那一个数字。传递参数的，要配合cmd来使用。
阅读笔记3-FCNT:Visual Tracking with Fully Convolutional Networks
godloveme的专栏
06-20 5960
本文是发表在2015 iccv上的一篇关于用CNN做目标追踪：本文主要贡献有两个 Contribution 1：探索来自不同层的CNN特征表达目标属性中区别和联系 Contribution 2：选取不同CNN层的特征，并将其”稀疏化“（通过tiny convolution neutral network实现），得到更有discrimination的特征用于追踪。 下面分别介绍这两部分工作：
LoRaWAN中帧计数器（FCnt）的使用
石家庄IT信息互联
03-21 2449
每个终端节点有两种计数器，用来跟踪发往到网络服务器的上行数据帧计数器FCntUp，从网络服务器发往节点的下行数据帧计数器FCntDown。 在下行数据方向有两种不同的帧计数器方案： 在基于LoRaWAN0协议的终端节点中所有的端口共用一个下行帧计数器FCntDown。 在基于LoRaWAN1.1协议的终端节点中使用了两个下行帧计数器，当使用端口0传输MAC数据或者端口字段不存...
[地震fcnt格式读取]大端字节序(big endian)和小端字节序(little endian)
unmover的博客
09-13 1091
[地震fcnt格式读取]大端字节序(big endian)和小端字节序(little endian) 最近被导师要求做读地震数据fcnt格式的数据程序,发现fcnt格式里面主要都是些二进制的东西,炮头信息毫无例外的都是按照bytes位置给列出的.使得我不得不开始重新回忆早就丢掉的字符(Ascii,Unicode,UTF-8),字节(bit,byte)这些东西. 为了能赶紧搞出来,当然是抛弃C,...
matlab的egde源代码-FCNT:跨国公司
05-22
FCNT是一种使用完全卷积神经网络的在线视觉跟踪算法。 该软件包包含源代码，以重现我们的报告中报道的FCNT的实验结果。 源代码主要是用MATLAB编写的。 用法 支持的操作系统：源代码已在64位Arch Linux操作系统上进行...
fcnt1.h头文件找不到
05-31
你需要确保你的编译器能够找到 fcnt1.h 头文件。你可以尝试将头文件放到正确的位置，或者在编译器中添加头文件的路径。如果你使用的是 CMake，你可以在 CMakeList.txt 文件中添加以下代码： ``` include_...
fcnt select用法总结
u010743406的博客
12-16 443
fcnt : file control fcnt用于控制文件句柄的操作 select用于非阻塞监控文件句柄 基本操作： /* 0- 定义读写句柄集合 */ fd_set rd_set, wr_set; /* 1- 获取文件句柄 */ fd_rd = fopen() fd_wr = fopen() /* 2- 获取句柄参数 */ flags_rd = fcntl(fd_rd, F_GETFL, 0) flags_wr = fcntl(fd_wr, F_GETFL, 0) /* 3- 设置取
目标跟踪的MATLAB代码
05-17
目标跟踪
跟踪“Visual Tracking with Fully Convolutional Networks”
cv_family_z的博客
02-26 5346
源代码：http://scott89.github.io/FCNT/ICCV15的跟踪文章，matlab版本，在TIAN GPU上3fps。方法：不同卷积层的特征描述物体的角度不同，高层的特征捕获的是语义信息，更像是一个类别检测器，低层的特征能把目标与相似的物体分开。另外，作者进行了特征图选择，将噪声及不相干的特组图去除。VGG16特征分析： 作者选取的是conv4-3和conv5-3，每层的特征
7.1 目标追踪
qq_40066957的博客
05-09 3078
7.1 目标追踪(Object Tracking)概述 学习目标 目标 知道目标追踪的算法类型以及应用 知道目标追踪算法的任务类型以及挑战 应用 无 目标跟踪是计算机视觉领域的一个重要分支。目前的目标跟踪的通常任务是，在视频的第一帧给定一个目标的矩形框，然后后续这个矩形框紧跟着要跟踪的物体。不过，目标跟踪与计算机视觉中的图像识别，分割，检测是分不开的，通常跟踪是这些分割检测的最后一步。 7.1.1 为什么使用目标追踪（Object Tr
2017目标跟踪算法综述
Kindle君的博客
07-31 9948
2017目标跟踪算法综述 本文所提的跟踪主要指的是单目标跟踪，多目标跟踪暂时不作为考虑范围。 本文主要从常用的评价标准，如EAO,EFO，fps等，分析2016-2017年最新出的目标跟踪文章在应用层面的优缺点。 算法原理不作为本文重点，旨在对比不同方法的“效果和时间性能”，方便大家根据不同的业务常见选择不同的方法。 本文按照以下几类进行展开，并不局限于传统方法或者深度学习。
无人驾驶感知篇之目标跟踪（十五）
yuan2520的博客
05-29 982
最近比较忙，事情比较多，所以这一周没怎么更新。上篇主要写了DLT目标跟踪算法，今天这篇主要写写基于全卷积网络跟踪器算法——FCNT跟踪算法。 1.什么是FCNT跟踪算法 FCNT跟踪算法主要利用现有大规模分类数据集预训练的CNN分类网络提取特征，主要对VGG-16的Conv4-3和Conv5-3层输出的特征图谱进行了分析。 2.FCNT跟踪算法的原理 FCNT跟踪算法主要包括以下步骤： （1）输入的视频帧， （2）利用 VGG-19提取feature， （3）分别利用高层的特征，...
无人驾驶感知篇之目标跟踪（十六）
yuan2520的博客
05-29 880
上篇主要写了基于全卷积网络跟踪器算法——FCNT跟踪算法，今天这篇主要写写MDNet目标跟踪算法。 1.什么是MDNet目标跟踪算法 介绍该算法之前，必须强调一点：MDNet是2015年VOT的冠军。从侧面可以看出该算法的优点了！英文名Multi-Doamin Network，即多域学习的网络结构。通过多域学习这种特性，来学习这些目标的共性。 2.MDNet目标跟踪算法原理 MDNet目标跟踪算法主要包括以下步骤： （1）先输入为107x107的Bounding b...
全卷积网络（FCN）与图像分割
热门推荐
05-14 16万+
与传统用CNN进行图像分割的方法相比，FCN有两大明显的优点：一是可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有同样的尺寸。二是更加高效，因为避免了由于使用像素块而带来的重复存储和计算卷积的问题。
闲谈5个改变未来的人工智能技术（CV方向）
Double_V的博客
05-03 8万+
前言 计算机视觉（CV）一直是目前深度学习领域最热的研究领域，其是一种交叉学科包括计算机科学（computer science / (Graphics, Algorithms, Theory, Systems, Architecture）、数学 (Information Retrieval, Machine Learning)、工程学(Robotics, Speech, NLP, Image...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值