Siam-fc论文阅读

Siam-fc论文阅读

摘要

siam-fc论文运用了非常简单的方法实现了SOTA效果,是一种基于模板匹配的思想,思想非常简单,但是效果是出奇的好,论文给出源码时matlab版本,github上也是有相关的tensorflow和pytorch版本。

论文核心

相似度学习:基于siam系列的网络时基于模板匹配思想,所以我们的网络是有两个分支,孪生孪生,顾名思义就是有点双胞胎的那种味道
siam-fc网络结构
上图是siam-fc的网络结构图,首先对于原始图片,话不多说,
第一步:先进行特征提取。。
第二步:相似度学习:是用一个函数f去计算模板z和搜索图片x之间的相似性,得到相似的score,这也就是后面的互相关,本质就是z不断的在x上进行滑窗,互相关后得到score map,跟踪时以上一帧目标位置为中心的搜索图像来计算score map,将得分最大的位置乘以步长即可得到当前目标的位置。
训练阶段:
损失是怎么产生的?
score map中每一个点都会去产生一个损失,因为每一个点都是相当于进行了一次互相关,真值和预测值之间会有一个逻辑损失,论文中score map 是17×17大小,意味着有17×17=289个“损失”,再将损失相加起来再除以289,论文中公式如下:
在这里插入图片描述
问题:score map得到的真实值v是离散值还是连续值?也可以这样问:互相关后得到的是离散值还是连续值?
连续值,互相关后得到的score要经过sigmoid函数生成-1到1的概率值。
问题:怎么给特征图打打标签(+1,-1)呢?
在这里插入图片描述
每个样本对经过孪生网络生成响应图v[u]后,u∈D(u表示响应图中的每个位置),响应图每个位置对应的标签为y[u],表示当响应图中某位置u和响应图中目标位置c的距离乘以比例因子k后小于R则为正样本,就是通过score map中的点和目标点的距离,再给个约束k,将其相乘,值越小说明离的越近,在小于R的情况我们就认为该点为+1。

问题:什么途径把我的loss变的最小?
输入一个image pair 经过网络真实值和预测值产生了损失,有了损失我们就得减小损失,使用SGD优化,再经过反向传播更新参数,这里的参数就是backbone中网络的参数。

总结

.z是模板,也是视频的第一帧中的target,我们从头到尾的target都是这一个,不进行更新,但这样也会导致一个问题:由于z一直不更新,只要和第一帧中的target类似,那么就会使score map中的值特别高,这样就会在多个类似的目标之间跟丢。
有几个小问题:
off-line learning和online learing之间的区别?
怎么通过score map然后返回到原始图片框住目标?

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Siam-CAR(Siamese Correlation Attention Mechanism for Continuously Attention Reasoning)算法是一种计算机视觉任务中的注意力机制。该算法在许多视频目标跟踪任务中得到了广泛应用,例如视频目标检测和识别等。 Siam-CAR算法通过使用“Siamese”网络架构来学习目标在不同帧中的特征表示。网络使用相同的参数来提取目标在不同帧中的特征,并通过相关性计算来检测目标的位置。该算法还通过注意力机制来确定对目标位置的关注,从而提高了算法的准确性。 总的来说,Siam-CAR算法是一种灵活、高效和准确的视频目标跟踪方法,在许多实际应用场景中得到了成功应用。 ### 回答2: Siam-CAR算法是一种用于目标跟踪深度学习算法。它是基于孪生网络的Siamese网络架构来进行目标跟踪的。该算法结合了样本标记和在线学习,以提高目标跟踪的精确度和鲁棒性。 Siam-CAR算法的核心思想是将目标跟踪问题转化为一个二分类问题。它首先使用孪生网络分别提取模板图像和搜索图像的特征表示。其中,模板图像包含初始帧中的目标,而搜索图像是随后的视频帧。 然后,算法使用带有Cross-correlation操作的互相关滤波器来计算两个特征表示之间的相似度。互相关滤波器通过在模板特征表示上滑动来搜索图像中的目标位置。通过计算滑动窗口与模板之间的相似度,可以确定目标的位置。 为了提高算法的鲁棒性,Siam-CAR算法引入了模板更新机制。在每个新的视频序列中,算法会使用模板特征表示来训练一个线性分类器,以将正负样本进行标记。然后再利用新的模板进行目标位置的跟踪。 Siam-CAR算法的优点包括:高效性、准确性和鲁棒性。它能够在较快的时间内进行目标跟踪,并且具有较低的计算复杂度。该算法在目标跟踪的挑战性数据集上取得了良好的性能,证明了它在目标跟踪任务中的有效性。 总体而言,Siam-CAR算法通过利用孪生网络的特性和互相关滤波器的相似度计算方法,实现了高效、准确和鲁棒的目标跟踪。它具有广泛的应用前景,可用于视频监控、自动驾驶、智能交通等领域中。 ### 回答3: Siam-CAR(Siam-Compare and Rank)算法是一种用于目标跟踪深度学习算法。该算法主要适用于单目标跟踪任务,通过提取目标特征并将其与候选框进行比较和排序,来实现目标的准确定位和跟踪。 Siam-CAR算法主要包含以下几个步骤: 1. 提取目标特征:使用预训练的卷积神经网络(CNN)提取目标的高层特征表示。一般采用的是基于ResNet等结构的预训练模型,在目标跟踪领域进行微调得到更好的特征表示。 2. 基于特征比较:将当前帧的目标特征与候选框的特征进行比较,计算它们之间的相似度。一般使用余弦相似度或欧氏距离来度量特征之间的相似性。 3. 候选框排序:根据特征相似度,对候选框进行排序。相似度较高的候选框排在前面,较低的排在后面。 4. 目标定位和跟踪:根据排序结果,选择相似度最高的候选框作为目标的位置估计,并进行目标的跟踪。在后续的帧中,将使用该估计结果进行下一帧的目标特征提取和相似度计算,从而实现连续的目标跟踪Siam-CAR算法相比于其他的目标跟踪算法具有较高的准确性和实时性。它通过利用深度学习的强大特征表示能力,能够更好地处理目标的形变、遮挡和光照变化等问题,同时采用候选框排序的方法,能够提高目标定位的准确性,使得跟踪结果更加稳定。因此,Siam-CAR算法在目标跟踪领域得到了广泛的应用和研究。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值