可学习图匹配:将图分类和深度特征学习结合应用于多目标跟踪

曼城的天空是蓝色的

已于 2024-03-03 18:52:58 修改

阅读量896

点赞数 17

文章标签：算法人工智能 python 目标跟踪计算机视觉

于 2024-01-18 13:57:30 首次发布

本文链接：https://blog.csdn.net/qq_73966123/article/details/135584647

版权

1、主要贡献

跨帧的数据关联是多目标跟踪 (MOT) 任务的核心，通常通过传统的基于图的优化来解决，或通过深度学习。尽管它们很受欢迎，但存在一些值得研究的点：1）现有方法大多忽略了轨迹和帧内检测之间的上下文信息，使得跟踪器难以在具有挑战性的情况下生存，如严重遮挡。2)端到端的关联方法依赖于深度神经网络的数据拟合能力，很难利用基于优化的分配方法的优势。3)基于图的优化方法大多利用单独的神经网络提取特征，导致训练和推理之间的不一致。

因此，本文提出了一种新的可学习图匹配方法来解决这些问题。简而言之，将轨迹和帧内检测之间的关系建模为一般的无向图。然后将关联问题转化为轨迹图与检测图之间的一般图匹配。此外，为了使优化端到端可微，将原始图匹配放宽为连续二次规划，然后在隐函数定理的帮助下将其训练合并到深度图网络中。GMTracker 在几个标准 MOT 数据集上实现了最先进的性能。

2、图匹配公式

没有求解原始的二次分配问题(QAP)，而是将图匹配公式relax为一个凸二次规划(QP)问题

第一项表示节点之间的相似度，第二项表示边之间的线性相似度。

其中两个加权邻接矩阵 $A_1$ 和 $A_2$ 表示两个图各个节点之间的软连接关系，加权邻接矩阵的元素是从[ 0 , 1 ] [0,1][0,1]之间的权重值，表示两个节点之间的连接强度

B为两个图之间的顶点亲和矩阵

转化后得

优化的目标是最大化所有匹配顶点之间的顶点亲和度，并最小化所有匹配边之间的边权重差异。

将置换矩阵 Π 约束为双随机矩阵 X 来将方程放宽到最紧凸松弛得

通过使用l2-归一化边缘特征来扩展松弛公式得

H1 和 H2 分别是两张图的加权邻接张量

n 是图 G1 和 G2 中的顶点数，下标 i 和 i' 是图 G1 中的顶点，j 和 j' 在图 G2 中

整理可得

其中 π = vec(Π)，b = vec(B) 和 M ∈ Rn2 ×n2 是两个图中所有可能边之间的对称二次亲和矩阵。

继续放宽得

在实现中首先计算两个图中边之间的余弦相似度来构造矩阵 Me

其中元素为两个图中边缘特征hi,i '和hj,j '之间的余弦相似度

再将矩阵Me的每个元素映射到对称二次亲和矩阵M

diag(·) 表示由给定向量构造对角矩阵， $\otimes$ 表示克罗内克积，vec 表示ji将矩阵展开为列向量

其中 $S_D$ 、 $S_T$ 、中的元素为指示函数

而 $T_D$ 、 $T_T$ 中的元素为另一个指示函数

顶点亲和矩阵B中的每个元素都是顶点与顶点特征之间的余弦相似度

3、图匹配网络

图匹配网络由三部分组成:(1)从检测和轨迹中提取特征并构建二部图，其中轨迹要先平均再构建；(2)采用交叉图 GCN 来增强特征。权重来自特征相似性和几何信息。(3)可微图匹配层，由公式6中的公式构建为QP层

3.1、构建二部图

利用预训练的ReID网络和多层感知器(MLP)为检测成外观特征

轨迹的外观特征是通过对之前检测的所有外观特征进行平均得到的

3.2、交叉图GCN模型

只在检测图和轨迹图之间采用 GCN 模块来增强特征

将 GCN 中的聚合权重系数 w 定义为在第l次传播时顶点 i 和顶点 j 之间的外观和几何相似性

$h_{i}^{(l)}$ 和 $h_{j}^{(l)}$ 分别表示在第l次传播时两个图的顶点的特征，cos(·,·) 表示输入特征之间的余弦相似度，IoU(·,·) 表示两个边界框的并集的交集。 $g_i$ 是检测顶点i的对应检测边界框。对于轨迹顶点j，使用具有恒定速度的卡尔曼滤波运动模型估计当前帧中的边界框 $g_j$ 。但当相机移动时，只考虑权重 wi,j 中的外观特征相似度，因为运动模型无法预测这些复杂场景中可靠的未来位置。