一.创新:提供了一种新的轨迹生成方式:输入短序列帧,得到所有目标对应的的全局轨迹。
二.思路:首先提取所有帧的检测值,然后提取所有的目标特征,再用trajectory query与其计算关联得分;有了得分再计算PA,计算完PA,经过训练使得-logPA最小化,就是logPA最大化、PA最大化,这个过程用到了IOU就是在计算损失函数时。之后,以PA为度量尺度使得一个query生成一个全局轨迹。(PA是对关联得分进行了一个sofemax操作,并不影响得分大小,它的作用是让大的值相对更大,小的值相更小)
三.框架:
大概的整体框架
关联得分的计算过程:
四.在推理过程中,文中是以当前帧中的目标特征作为trajectory query来生成全局轨迹的(在训练过程中query是变化的,是以全部的帧的目标特征作为trajectory query进行训练的 。)
推理过程中是通过在滑动窗口(窗口大小是T=32)上运行tracking transformer,用当前帧的目标特征作为trajectory queries 生成Nt个trajectories.因为步长为1,所以当前轨迹会与之前的轨迹之间可能重叠T-1个边界框和特征,所以使用匈牙利算法来确保从当前长期trajectory到现有tracks的映射是唯一的。
新轨迹的产生:(接上段)如果与任何先前轨迹的平均关联分数低于阈值θ,就开始新的track
旧轨迹的消失:我们根据轨迹关联分数的最大值和box-trajectory IoU来关联tracks。我们进一步去除长度小于5的轨迹。