Global Tracking Transformers

一.创新:提供了一种新的轨迹生成方式:输入短序列帧,得到所有目标对应的的全局轨迹。

二.思路:首先提取所有帧的检测值,然后提取所有的目标特征,再用trajectory query与其计算关联得分;有了得分再计算PA,计算完PA,经过训练使得-logPA最小化,就是logPA最大化、PA最大化,这个过程用到了IOU就是在计算损失函数时。之后,以PA为度量尺度使得一个query生成一个全局轨迹。(PA是对关联得分进行了一个sofemax操作,并不影响得分大小,它的作用是让大的值相对更大,小的值相更小)

 

 三.框架:

大概的整体框架

关联得分的计算过程:

四.在推理过程中,文中是以当前帧中的目标特征作为trajectory query来生成全局轨迹的(在训练过程中query是变化的,是以全部的帧的目标特征作为trajectory query进行训练的 。)

推理过程中是通过在滑动窗口(窗口大小是T=32)上运行tracking transformer,用当前帧的目标特征作为trajectory queries 生成Nt个trajectories.因为步长为1,所以当前轨迹会与之前的轨迹之间可能重叠T-1个边界框和特征,所以使用匈牙利算法来确保从当前长期trajectory到现有tracks的映射是唯一的。

新轨迹的产生:(接上段)如果与任何先前轨迹的平均关联分数低于阈值θ,就开始新的track

旧轨迹的消失:我们根据轨迹关联分数的最大值和box-trajectory IoU来关联tracks。我们进一步去除长度小于5的轨迹。

 

 

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值