Track Segment Association With Dual Contrast Neural Network

全文翻译如下:

摘要

航迹中断会对目标跟踪、态势感知、信息融合等造成严重干扰。而这往往是由多种原因引发的,如目标机动、多普勒雷达的盲区、采样间隔过长等原因。现有的算法都是基于假设的目标运动模型,采用统计估计的理论来衡量待关联预测航迹之间的相似性,存在假设不合理、模型不适用、阈值不确定等缺点。为了解决这些问题,本文提出了一种航迹片段关联双对比神经网络( TSADCNN )来完成航迹片段关联任务。首先,基于深度度量学习,我们提出了时空信息提取模块来提取轨迹信息,特别是对称相关信息并提升维度。其次,TSADCNN通过构造合适的优化函数,使得属于同一目标的航迹片段在高维空间中距离更近,属于不同目标的航迹片段距离更远。最后,TSADCNN将挑选高维空间中的最近邻向量作为关联航迹。在仿真数据上进行了大量实验来评估TSADCNN的有效性,结果表明该方法具有良好的适应性和抗噪能力。此外,对比实验表明其在质量和效率上都优于其他TSA方法。与最佳性能相比,TSADCNN在长中断间隔下的平均真关联率可提高1.3 %。

I. INTRODUCTION

在雷达数据处理领域,航迹中断是一个经常出现的主要问题。目标机动、多普勒雷达的盲区以及过长的采样间隔等原因都会导致航迹中断[ 1 ]。这会对目标跟踪、态势感知、信息融合等造成严重干扰,因此航迹片段关联( TSA )成为雷达数据处理领域的重要课题。
TSA最早于20世纪80年代被提出,逐渐成为研究的热点[ 2 ]。作者使用了最大似然跟踪算法来得到轨迹的估计值。考虑到交互多模型( IMM )不仅包含线性运动模型,还包含非线性协调转向模型,Yeom等人在文献[ 1 ]中将估计器改为IMM [ 3 ],得到了更好的关联性能。基于IMM的TSA可以很好地与常规的航迹断裂相关联,但是如果目标故意停下来阻止雷达探测,性能会急剧下降。为了解决移动-停止-移动目标引起的航迹断裂问题,作者提出了"双假人"分配法[ 4 ],即在IMM中加入两类假人模型。而在文献[ 5 ]中,Zhang和Bar - Shalom使用了具有状态依赖模式转移概率的IMM估计器进行航迹片段预测。在该方法中,一个具有零跳变概率的模式转移矩阵用于快速阶段,另一个具有非零跳变概率的转移矩阵用于慢速阶段[ 6 ]。总之,这两类方法在IMM中加入了"停止运动模型",对移动-停止运动目标具有良好的适应性,但对于运动周期的跟踪精度会有所下降。为了提高先验信息的利用率,减少对运动模型的依赖,Qi等[ 7 ]提出利用位置、速度、加速度等先验信息进行粗关联,然后通过多项式拟合将粗关联的航迹段连接起来,有效提高了航迹段的连续性。
上述算法都是基于假设的目标运动模型,采用统计估计理论来衡量预测航迹之间的相似性进行关联。事实上,这些方法存在假设不合理、模型不适用、阈值不确定等缺点。在这些方法中,模型选择起着至关重要的作用,运动模型的质量直接决定了TSA的效果。IMM可以用来包含不同的运动模型,但是随着模型数量的增加,IMM的计算速度会急剧下降,性能也会因为这些模型之间的过度"竞争"而下降[ 8 ]。因此,这类方法无法利用大量的运动模型和先验假设来解决TSA问题。
随着大数据和人工智能的快速发展,机器学习和深度学习技术被应用于雷达目标检测[ 9 ]、遥感图像检索[ 10 ]、航迹预测[ 11 ]等研究中。与传统方法相比,深度学习具有无需先验假设、适用范围广、可利用大量数据等诸多优点,符合大数据趋势。在大数据时代下,大量的轨道数据应运而生,并且能够非常容易的被采集。深度学习方法作为一种基于神经网络的数据驱动方法,可以充分利用这些轨迹数据。同时,依靠神经网络强大的学习能力,深度学习方法可以通过航迹数据学习关联策略,而不是传统TSA方法构建复杂的目标运动模型,大大提高了TSA的实用价值。除了传统的航迹预测方法外,近年来出现了很多基于神经网络的航迹预测方法[ 12 ] ~ [ 14 ]。在文献[ 12 ]中,Shi等人使用了包含爬升、巡航和下降/接近阶段三种约束的约束LSTM网络来解决传统方法的沉重计算负担。由于只包含一个简单的LSTM层,且严重依赖于这3种约束,对机动目标的预测性能可能会下降。在文献[ 13 ]中,Deo和特里维迪结合LSTM和CNN学习车辆(汽车)轨迹的动态性和空间相关性。由于该方法需要利用其他车辆的轨迹信息,而车辆的轨迹比飞行或船舶的轨迹更有规律,因此该方法可能不适用于飞行或船舶的轨迹预测。文献[ 14 ]利用图注意力网络提取不同时刻之间的交互信息实现行人轨迹预测,能够实时反映轨迹预测过程中各时刻的重要性,具有良好的可解释性。然而,迄今为止还没有基于神经网络的航迹预测方法在TSA中得到应用。因此,现在是时候在TSA和深度学习之间找到一个可以充分利用轨迹数据的纽带了。
在本文中,我们使用双对比网络来处理TSA,我们称之为TSA双对比神经网络( TSADCNN )。如前所述,TSA的关键部分是航迹片段的预测和预测航迹的测量。然而,对于传统的TSA,航迹片段的预测基于大量的目标运动模型,需要逐点预测,导致TSA模型复杂,关联时间长。我们不是试图设计模型来预测目标位置,而是尝试使用带标签的训练轨迹段对来学习轨迹段的特征表示,使得属于同一目标的轨迹段在高维空间中变得更近,属于不同目标的轨迹段在高维空间中变得更远。之后,可以直接选择高维空间中最近的新老轨道段对作为关联轨道,简化了TSA模型,减少了关联时间。该思想受到人脸验证问题的启发,其中度量学习[ 15 ]被用来预测图像对中的人物是否相同。此外,类似的方法已经用于图像匹配问题[ 16 ]、[ 17 ]和目标跟踪[ 18 ],但尚未用于TSA问题。
本文的结构安排如下。第二节介绍了我们的TSA策略,包括TSA的数学模型、数据预处理以及双对比网络的理论分析。第三节讨论了TSADCNN的网络结构和目标函数。第四节介绍了如何准备轨道数据和训练神经网络,然后选择最佳维数和间隔距离。第五节对TSADCNN的自适应性、抗噪声能力、真实关联能力进行测试,并与其他TSA算法进行对比,展示效果。

II. TSA STRATEGY

在本文中,我们想训练一个TSADCNN,这是一种用于TSA的深度度量神经网络。我们提出了一种基于深度神经网络的方法,该方法具有很强的数据拟合能力,已被证明分别是时间和空间特征的有效特征提取器[ 19 ],[ 20 ]。
TSADCNN的数据流如图1所示,图中两个网络分支共享网络参数。训练时,一对旧轨迹段(中断前)和新轨迹段(中断后)被送入TSADCNN,TSADCNN由两个信息提取模块组成:时间相关性信息提取模块和空间结构信息提取模块。然后将信息提取模块的输出,即高维航迹向量输入到目标函数中。根据标签,目标函数试图最小化属于同一目标( label = 1)的轨道段映射特征之间的平方欧氏距离,最大化属于不同目标( label = 0)的轨道段映射特征之间的平方欧氏距离。在测试时,将旧轨迹段和新轨迹段逐一送入TSADCNN。在得到所有高维轨迹向量后,我们使用最近邻规则挑选一对最近的新旧高维轨迹向量作为关联结果。
在这里插入图片描述

a . Tsa的数学模型

航迹中断是目标跟踪过程中的常见问题,往往会产生大量的航迹片段。TSA算法用来关联这些破碎的航迹片段,这些航迹片段被称为新的(中断后)和旧的(中断前)航迹片段。一对新老轨道段可定义如下。
旧轨迹:由于缺少测量数据而无法进行状态更新的中断轨迹
T i = { X ^ i ( k ∣ k ) , k = k s i , … , k e i } , i = 1 , … , I . \mathbf{T}^{i}=\left\{\hat{\mathbf{X}}^{i}(k \mid k), k=k_{s}^{i}, \ldots, k_{e}^{i}\right\}, i=1, \ldots, I . Ti={X^i(kk),k=ksi,,kei},i=1,,I.
新轨道:新轨道段的开始,可能是"旧轨道"的延续。
T j = { X ^ j ( k ∣ k ) , k = k s j , … , k e j } j = 1 , … , J \mathbf{T}^{j}=\left\{\hat{\mathbf{X}}^{j}(k \mid k), k=k_{s}^{j}, \ldots, k_{e}^{j}\right\} \quad j=1, \ldots, J Tj={X^j(kk),k=ksj,,kej}j=1,,J
式中 X ^ i ( k ∣ k ) \hat{\mathbf{X}}^{i}(k | k) X^i(kk)为k时刻航迹i的状态估计向量。 k s i k_{s}^{i} ksi k e i k_{e}^{i} kei分别为航迹i的第一个和最后一个状态更新时刻。 I I I and J J J分别为旧轨迹和新轨迹的个数, X ^ i ( k ∣ k ) = \hat{\mathbf{X}}^{i}(k | k)= X^i(kk)= [ x ^ i ( k ) , x ^ i ( k ) , x ^ i ( k ) , y ^ i ( k ) , y ^ i ( k ) , y ^ i ( k ) ] T \left[\hat{\mathbf{x}}^{i}(k), \hat{\mathbf{x}}^{i}(k), \hat{\mathbf{x}}^{i}(k), \hat{\mathbf{y}}^{i}(k), \hat{\mathbf{y}}^{i}(k), \hat{\mathbf{y}}^{i}(k)\right]^{\mathrm{T}} [x^i(k),x^i(k),x^i(k),y^i(k),y^i(k),y^i(k)]T.
TSA的目的是利用航迹数据,采用航迹预测或其他算法将来自同一目标的新旧航迹关联起来。对于TSADCNN,通过时空信息提取模块,提取航迹信息,将航迹映射到高维空间。然后选取高维空间中距离最近的一对航迹片段作为关联结果
Φ ( i , j ) = arg ⁡ min ⁡ i = 1 : I j = 1 : J ( ∥ Z i − Z j ∥ 2 ) \Phi(i, j)=\underset{\substack{i=1: I \\ j=1: J}}{\arg \min }\left(\left\|\mathbf{Z}_{i}-\mathbf{Z}_{j}\right\|_{2}\right) Φ(i,j)=i=1:Ij=1:Jargmin(ZiZj2)
where Φ ( i , j ) \Phi(i, j) Φ(i,j) is the association result.

B.数据预处理

原始轨道数据中,每个维度具有不同的分布范围,神经网络对这种差异非常敏感,影响其训练。为了减小各个维度上的差异,方便神经网络处理,需要对航迹数据进行预处理。在训练数据集中选取一对航迹片段,每一对航迹片段包含一个旧航迹片段(中断前)和一个新航迹片段(中断后)。对旧轨迹段和新轨迹段分别进行归一化处理,得到标准化、无量纲化的训练数据。采用0 - 1标准化对轨道数据进行标准化,0 - 1标准化的标准化公式为
x i j = x i j − x min ⁡ x max ⁡ − x min ⁡ x_{i}^{j}=\frac{x_{i}^{j}-x_{\min }}{x_{\max }-x_{\min }} xij=xmaxxminxijxmin
其中 x max ⁡ = max ⁡ i = 1 : N x i j , x min ⁡ = min ⁡ i = 1 : N x i j , i x_{\max }=\max _{i=1: N} x_{i}^{j}, x_{\min }=\min _{i=1: N} x_{i}^{j}, i xmax=maxi=1:Nxij,xmin=mini=1:Nxij,i是航迹段的编号,j是航迹点的序号。
i = 1 : N i = 1 : N j = 1 : d j = 1 : d \begin{array}{ll} i=1: N & i=1: N \\ j=1: d & j=1: d \end{array} i=1:Nj=1:di=1:Nj=1:d

归一化后,使用相同长度的窗口对新、旧轨道段进行截断。截断窗口的长度是一个可变参数,根据目标所在的场景而变化。神经网络的输入是一对被窗口截断的归一化航迹片段。新轨道段和旧轨道段可以任意组合。如果它们来自同一目标,则标签为1;否则,标签为0。

C.航迹双对比神经网络

双对比神经网络是一种度量学习方法。度量学习是度量样本间相似性的重要工具[ 21 ]。与通过原始数据区分对象的分类问题不同,度量学习旨在建立对象之间的相似性。一般来说,度量学习旨在减少相似对象之间的距离,增加不相似对象之间的距离[ 22 ],[ 23 ]。每一个航迹片段在分类和聚类方面都有其特定的特征,而简单的距离度量在所有的航迹数据中并不能具有很好的度量能力。因此,我们需要通过度量学习从原始轨迹数据中学习一个合适的距离度量。假设
X = [ x 1 , x 2 , … , x N ] ∈ R N × T × D \mathbf{X}=\left[\mathbf{x}_{1}, \mathbf{x}_{2}, \ldots, \mathbf{x}_{N}\right] \in \mathbb{R}^{N \times T \times D} X=[x1,x2,,xN]RN×T×D
is the train dataset, where
[ x i 1 ( 1 ) , x i 2 ( 1 ) , … , x i D ( 1 ) x i 1 ( 2 ) , x i 2 ( 2 ) , … , x i D ( 2 ) ⋮ x i 1 ( T ) , x i 2 ( T ) , … , x i D ( T ) ] ∈ R T × D \left[\begin{array}{c} x_{i}^{1}(1), x_{i}^{2}(1), \ldots, x_{i}^{D}(1) \\ x_{i}^{1}(2), x_{i}^{2}(2), \ldots, x_{i}^{D}(2) \\ \vdots \\ x_{i}^{1}(T), x_{i}^{2}(T), \ldots, x_{i}^{D}(T) \end{array}\right] \in \mathbb{R}^{T \times D} xi1(1),xi2(1),,xiD(1)xi1(2),xi2(2),,xiD(2)xi1(T),xi2(T),,xiD(T) RT×D
为第i个训练样本,N为训练数据集总数,T为一条航迹的航迹点数,D为维度数。计算xi到xj的距离为
d M ( x i , x j ) = ( x i − x j ) ⊤ M ( x i − x j ) d_{M}\left(\mathbf{x}_{i}, \mathbf{x}_{j}\right)=\sqrt{\left(\mathbf{x}_{i}-\mathbf{x}_{j}\right)^{\top} \mathbf{M}\left(\mathbf{x}_{i}-\mathbf{x}_{j}\right)} dM(xi,xj)=(xixj)M(xixj)
式中:M为映射矩阵。它必须具有非负性、对称性、三角形不等式等性质。M的所有特征值必须是正的或零的,这样M可以是对称的和半正定的. M可分解如下:
M = W ⊤ W \mathbf{M}=\mathbf{W}^{\top} \mathbf{W} M=WW
Then,
d M ( x i , x j ) = ( x i − x j ) ⊤ M ( x i − x j ) = ( x i − x j ) ⊤ W ⊤ W ( x i − x j ) = ∥ W x i − W x j ∥ 2 . \begin{aligned} d_{M}\left(\mathbf{x}_{i}, \mathbf{x}_{j}\right) & =\sqrt{\left(\mathbf{x}_{i}-\mathbf{x}_{j}\right)^{\top} \mathbf{M}\left(\mathbf{x}_{i}-\mathbf{x}_{j}\right)} \\ & =\sqrt{\left(\mathbf{x}_{i}-\mathbf{x}_{j}\right)^{\top} \mathbf{W}^{\top} \mathbf{W}\left(\mathbf{x}_{i}-\mathbf{x}_{j}\right)} \\ & =\left\|\mathbf{W} \mathbf{x}_{i}-\mathbf{W} \mathbf{x}_{j}\right\|_{2} . \end{aligned} dM(xi,xj)=(xixj)M(xixj) =(xixj)WW(xixj) =WxiWxj2.
利用双对比网络学习非线性变换W,将航迹数据变换到高维空间。在高维空间中,属于同一目标的航迹片段距离变近,属于不同目标的航迹片段距离变远。然后我们通过最近邻规则挑选一对新旧轨迹段作为关联轨迹。
在这里插入图片描述

Tsadcnn神经网络架构

由于TSA涉及到新、旧赛道片段之间的匹配关系,本文提出了双对比神经网络来学习赛道片段之间的相似性度量并进行区分。神经网络由两个相似的分支共享权值和参数组成。众所周知,航迹片段包含时间和空间信息。时间信息包括轨迹点前后的时序关系,空间信息包括轨迹段的空间坐标关系。为了同时提取时间和空间信息,我们设计了一个分支,包括时间相关性信息提取模块和空间结构信息提取模块。

A.时间关联信息提取模块

假设截断窗口长度为 L L L,输入轨迹向量的维数为 D D D,其中 D D D通常远小于 L L L,因此输入向量看起来很平坦,不适合网络的处理。为了使长度和宽度对称,我们提出了基于长短时记忆( LSTM )网络的时间相关性信息提取模块[ 20 ]。该模块将输入轨迹向量的形状由 L × D L \times D L×D改为 L × L L \times L L×L,并提取时间相关信息。LSTM由三种类型的门单元组成,分别称为输入门、遗忘门和输出门。首先,LSTM将 x t \mathbf{x}_{t} xt h t − 1 \mathbf{h}_{t-1} ht1串联,再乘以不同的权重矩阵,得到不同的门状态
z = tanh ⁡ ( W ⊗ ( x ( t ) ∥ h ( t − 1 ) ) ) z i = σ ( W i ⊗ ( x ( t ) ∥ h ( t − 1 ) ) ) z f = σ ( W f ⊗ ( x ( t ) ∥ h ( t − 1 ) ) ) z o = σ ( W o ⊗ ( x ( t ) ∥ h ( t − 1 ) ) ) \begin{aligned} \mathbf{z} & =\tanh (\mathbf{W} \otimes(\mathbf{x}(t) \| \mathbf{h}(t-1))) \\ \mathbf{z}^{i} & =\sigma\left(\mathbf{W}^{i} \otimes(\mathbf{x}(t) \| \mathbf{h}(t-1))\right) \\ \mathbf{z}^{f} & =\sigma\left(\mathbf{W}^{f} \otimes(\mathbf{x}(t) \| \mathbf{h}(t-1))\right) \\ \mathbf{z}^{o} & =\sigma\left(\mathbf{W}^{o} \otimes(\mathbf{x}(t) \| \mathbf{h}(t-1))\right) \end{aligned} zzizfzo=tanh(W(x(t)h(t1)))=σ(Wi(x(t)h(t1)))=σ(Wf(x(t)h(t1)))=σ(Wo(x(t)h(t1)))
其中 x ( t ) \mathbf{x}(t) x(t) t t t时刻的轨迹段点, h ( t − 1 ) \mathbf{h}(t-1) h(t1) t − 1 t-1 t1时刻LSTM的隐藏状态, z \mathbf{z} z为输入状态, z i \mathbf{z}^{i} zi为输入门状态, z f \mathbf{z}^{f} zf为遗忘门状态, z o \mathbf{z}^{o} zo为输出门状态。 W , W i , W f , W o \mathbf{W}, \mathbf{W}^{i}, \mathbf{W}^{f}, \mathbf{W}^{o} W,Wi,Wf,Wo是相应的不同状态的可学习参数。. ⊗ \otimes is Hadamard Product, σ \sigma σ is Sigmoid function.
然后根据不同的门状态,LSTM计算 t t t时刻的输出、记忆单元和隐藏状态。
c ( t ) = z f ⊗ c ( t − 1 ) + z i ⊗ z \mathbf{c}(t)=\mathbf{z}^{f} \otimes \mathbf{c}(t-1)+\mathbf{z}^{i} \otimes \mathbf{z} c(t)=zfc(t1)+ziz
h ( t ) = z o ⊗ tanh ⁡ ( c ( t ) ) \mathbf{h}(t)=\mathbf{z}^{o} \otimes \tanh (\mathbf{c}(t)) h(t)=zotanh(c(t))
y ( t ) = σ ( W ′ h ( t ) ) \mathbf{y}(t)=\sigma\left(\mathbf{W}{\prime} \mathbf{h}(t)\right) y(t)=σ(Wh(t))
其中 c ( t ) \mathbf{c}(t) c(t)为记忆单元, h ( t ) \mathbf{h}(t) h(t)为隐状态, y ( t ) \mathbf{y}(t) y(t)为输出, W ′ \mathbf{W}{\prime} W为可学习参数。时间相关性信息可以看作是轨迹点之间的相关性。考虑到相关矩阵是对称的,我们在第III - C节所描述的损失函数中加入了对称约束损失。但是为了达到得到对称相关矩阵的目的,对称约束损失会导致相关矩阵的所有值都过小(接近于零)。为了解决这个问题,我们在LSTM后加入Tanh非线性激活函数,将值的分布转化为- 1到1之间。
Y = [ tanh ⁡ ( y ( 1 ) ) , tanh ⁡ ( y ( 2 ) ) , … , tanh ⁡ ( y ( L ) ) ] T \mathbf{Y}=[\tanh (\mathbf{y}(1)), \tanh (\mathbf{y}(2)), \ldots, \tanh (\mathbf{y}(L))]^{\mathrm{T}} Y=[tanh(y(1)),tanh(y(2)),,tanh(y(L))]T
tanh ⁡ ( x ) = e x − e − x e x + e − x \tanh (x)=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}} tanh(x)=ex+exexex

式中: Y \mathbf{Y} Y为对称轨道矩阵。时序关联信息提取模块结构如图2所示。

B .空间结构信息提取模块

空间结构信息通过基于卷积神经网络( CNN )的多尺度CNN提取[ 24 ]。经过时间相关信息提取后,轨迹段向量变得对称,可称为对称轨迹矩阵,便于CNN处理。多尺度CNN提取空间结构信息,计算每个航迹点之间的关系,将对称航迹矩阵映射到高维空间
Y ~ = W c ⊙ Y + b \tilde{\mathbf{Y}}=\mathbf{W}_{c} \odot \mathbf{Y}+\mathbf{b} Y~=WcY+b
其中 Y \mathbf{Y} Y为对称轨迹矩阵, W c \mathbf{W}_{c} Wc为CNN的核参数, b \mathbf{b} b为偏置, Y ~ \tilde{\mathbf{Y}} Y~为CNN的输出, ⊙ \odot 为卷积计算。
同时,为了减少与自然图像相比由于轨迹特征信息较少而导致的梯度消失的影响,将残差连接[ 25 ]应用于CNN和池化层[ 19 ],这在其他卷积神经网络中广泛使用,在本模块中没有使用。随着CNN网络结构的深入,提取的空间特征图尺寸会减小,可能会造成短航迹片段的信息丢失。为了保持空间特征图的大小不变,减少信息丢失的影响,只使用1 × 1卷积核和3 × 3卷积核加1个填充
Y ^ 1 = r e s i d u a l b l o c k ( Y ~ 3 × 3 + Y ~ 1 × 1 ) + ( Y ~ 3 × 3 + Y ~ 1 × 1 ) \hat{\mathbf{Y}}_{1}= residual_block \left(\tilde{\mathbf{Y}}_{3 \times 3}+\tilde{\mathbf{Y}}_{1 \times 1}\right)+\left(\tilde{\mathbf{Y}}_{3 \times 3}+\tilde{\mathbf{Y}}_{1 \times 1}\right) Y^1=residualblock(Y~3×3+Y~1×1)+(Y~3×3+Y~1×1)
r e s i d u a l b l o c k ( x ) = conv ⁡ 1 × 1 ( conv ⁡ 3 × 3 ( conv ⁡ 1 × 1 ( x ) ) ) residual_block (\mathbf{x})=\operatorname{conv}_{1 \times 1}\left(\operatorname{conv}_{3 \times 3}\left(\operatorname{conv}_{1 \times 1}(\mathbf{x})\right)\right) residualblock(x)=conv1×1(conv3×3(conv1×1(x)))
Y ~ 1 × 1 = conv ⁡ 1 × 1 ( Y ) = W c 1 × 1 ⊙ Y + b \tilde{\mathbf{Y}}_{1 \times 1}=\operatorname{conv}_{1 \times 1}(\mathbf{Y})=\mathbf{W}_{c 1 \times 1} \odot \mathbf{Y}+\mathbf{b} Y~1×1=conv1×1(Y)=Wc1×1Y+b
式中 Y ^ 1 \hat{\mathbf{Y}}_{1} Y^1为第1个残差连接块的输出, Y ~ 3 × 3 \tilde{\mathbf{Y}}_{3 \times 3} Y~3×3 Y ~ 1 × 1 \tilde{\mathbf{Y}}_{1 \times 1} Y~1×1分别为 3 × 3 3 \times 3 3×3卷积核和 1 × 1 1 \times 1 1×1卷积核的输出, conv ⁡ 3 × 3 \operatorname{conv}_{3 \times 3} conv3×3 conv ⁡ 1 × 1 \operatorname{conv}_{1 \times 1} conv1×1分别表示3 × 3卷积核和1 × 1卷积核。
CNN的输出包含冗余信息且维度过高。为了获得最合适的高维航迹向量,采用全连接( FC )层进行高维映射,FC的输出为高维空间中的航迹向量
Z = W F C ∗ Y ^ 3 + b F C \mathbf{Z}=\mathbf{W}_{\mathrm{FC}} * \hat{\mathbf{Y}}_{3}+\mathbf{b}_{\mathrm{FC}} Z=WFCY^3+bFC
其中 Z \mathbf{Z} Z F C \mathrm{FC} FC的输出, W F C \mathbf{W}_{\mathrm{FC}} WFC 是FC的可学习参数, b F C \mathbf{b}_{\mathrm{FC}} bFC F C \mathrm{FC} FC的偏置, Y ^ 3 \hat{\mathbf{Y}}_{3} Y^3 是第三个残差连接块的输出。空间结构信息提取模块结构如图3所示。
最后,利用最近邻规则挑选一对最近的高维航迹向量作为关联结果。

C.目标优化

1 )距离优化:为了区分来自不同目标的航迹段,需要寻求一个目标函数来优化TSADCNN的参数。换句话说,目标函数是优化网络参数,使得属于同一目标的航迹片段在高维空间中变得更近,而属于不同目标的航迹片段在高维空间中变得更远。考虑到训练阶段使用一对航迹片段,我们使用对比损失[ 26 ],其定义如下:
L C = 1 2 l D 2 + 1 2 ( 1 − l ) [ max ⁡ ( 0 , m − D ) ] 2 \mathcal{L}_{C}=\frac{1}{2} l D^{2}+\frac{1}{2}(1-l)[\max (0, m-D)]^{2} LC=21lD2+21(1l)[max(0,mD)]2
其中 l l l是一个二值标签,如果轨迹段 x i \mathbf{x}_{i} xi x j \mathbf{x}_{j} xj 来自同一个目标,则 l = 1 l=1 l=1,否则 l = 0. m > 0 l=0 . m>0 l=0.m>0表示间隔距离,是高维空间中属于不同目标的两个轨迹段之间的最短距离。 D = ∥ f ( x i ) − f ( x j ) ∥ 2 D=\left\|f\left(\mathbf{x}_{i}\right)-f\left(\mathbf{x}_{j}\right)\right\|_{2} D=f(xi)f(xj)2是高维空间中的欧氏距离。
2 )对称优化:为了在时间相关信息提取模块后得到一个对称的相关矩阵,我们提出了对称约束损失来保持相关矩阵的对称性,使得相关矩阵对称位置的值之间的差异尽可能小。对称约束损失定义如下:
L S = ∑ i = 1 L ∑ j = 1 L ( a i j − a j i ) 2 \mathcal{L}_{S}=\sum_{i=1}^{L} \sum_{j=1}^{L}\left(a_{i j}-a_{j i}\right)^{2} LS=i=1Lj=1L(aijaji)2
where a i j a_{i j} aij is i i i th row and j j j th column element in the correlation matrix.
对比时序相关信息提取模块前后的特征图,可以推断该模块可以从原始轨道段中提取轨道点之间的相关性。经过时间相关性信息提取模块后,特征图中第i行第j列元素即为第i个航迹点与第j个航迹点的相关性,既包含时间信息,也包含空间信息。时间相关性信息提取模块前后的特征图如图4所示。
综上所述,TSADCNN的总损失是对比损失和对称约束损失之和。由于对称约束损失值太小,为了使网络更加收敛,将对称约束损失乘以权重系数。TSADCNN的总损失函数描述如下:
L = 10 ∗ L S + L C \mathcal{L}=10 * \mathcal{L}_{S}+\mathcal{L}_{C} L=10LS+LC
在这里插入图片描述
在这里插入图片描述

Ⅳ.网络训练与参数选择

为了选择高维空间中的最佳维度和最佳间隔距离,我们进行了高维空间的维度分析和间隔距离分析实验。平均精度( AP )和精度在K ( P @ K \mathrm{P} @ \mathrm{K} P@K , K为一个场景中的目标数)被用来评估TSADCNN的性能。值得注意的是,AP和 P @ K \mathrm{P} @ \mathrm{K} P@K的取值范围为0到1,AP和P @ K的值越大,性能越好。假设仿真场景数为N, i = 1 , 2 , … N i=1,2, \ldots N i=1,2,N P @ K \mathrm{P} @ \mathrm{K} P@K的定义如下:
P @ K i = K i t K i P @ K_{i}=\frac{K_{i}^{t}}{K_{i}} P@Ki=KiKit
其中 K i K_{i} Ki为第 i i i场景中目标的个数, K i t K_{i}^{t} Kit为第 i i i场景中正确关联的目标个数。AP的定义如下:
A P = ∑ i = 1 N K i t ∑ i = 1 N K i \mathrm{AP}=\frac{\sum_{i=1}^{N} K_{i}^{t}}{\sum_{i=1}^{N} K_{i}} AP=i=1NKii=1NKit
所有实验均在具有PyTorch深度学习框架的64位工作站上进行[ 27 ]。具体实验配置如下:Ubuntu 16.04,32GB RAM,酷睿i7-8700 CPU @ 3.2GHz,NVIDIA GTX 1080Ti GPU。

A .数据准备

根据文献[ 28 ]中描述的运动模型,准备了大量二维坐标下的目标轨迹作为数据集。在我们的数据集中有五种目标运动模式:

  1. CV mode: a n = 0 , a t = 0 a_{n}=0, a_{t}=0 an=0,at=0, the target’s velocity is constant
  2. CA mode: a n = 0 , a t ≠ 0 a_{n}=0, a_{t} \neq 0 an=0,at=0, the acceleration of the target is constant
  3. small CT mode: a n ≠ 0 , a t ≠ 0 a_{n} \neq 0, a_{t} \neq 0 an=0,at=0, the angular velocity is 0 to 60 degree/s
  4. medium CT mode: a n ≠ 0 , a t ≠ 0 a_{n} \neq 0, a_{t} \neq 0 an=0,at=0, the angular velocity is 60 to 120 degree/s
  5. large CT mode: a n ≠ 0 , a t ≠ 0 a_{n} \neq 0, a_{t} \neq 0 an=0,at=0, the angular velocity is 120 to 180 degree/s
    在这里插入图片描述
    基于这5种目标运动模式,在列车数据集中,每种运动模式包含10 000条轨迹,共计50 000条轨迹。在测试数据集中,每个运动模式包含1000条轨迹,共计5000条轨迹。列车数据集和测试数据集中各运动模式的轨迹段如图5所示。此外,噪声可以添加到训练和测试数据集中,噪声数据集可以用于网络抗噪测试。

B.高维空间维度分析

高维空间维度对TSADCNN的效果影响很大。维度过低可能会损失大量的航迹信息,网络无法准确学习航迹特征,维度过高会带来信息冗余,使网络难以收敛。在不同维度( 4,8,16,32,64,128,256)下比较( AP和P @ K)的效果,在高维空间中选择最佳维度。高维空间中不同维度的关联效应如表1所示。
根据表I,当高维空间的维数等于8时,TSADCNN可以得到最好的性能。然而,过高或过低的维度都会导致性能降低。

C.间隔距离分析

间隔距离( m )表示高维空间中属于不同目标的两个航迹片段之间的最短距离。若m过小,则属于不同目标的航迹片段在高维空间中过于接近,难以区分。若m过大,则属于不同目标的航迹片段相隔太远,会使神经网络难以收敛。因此,边际距离的选择对于关联效应的发挥至关重要。对不同的间隔距离( 0.1、0.2、0.3、0.4、0.5)进行评估,选择最优的间隔距离。不同边缘距离的联合效应见表Ⅱ。
由表2可知,当间隔距离等于0.2时,TSADCNN的性能最佳。如式( 23 )所示,当高维空间中距离不同目标的航迹段距离超过间隔距离时,会影响网络参数更新,间隔距离过大或过小都不利于网络训练。那么高维空间中的最佳维数( 8 )和最佳间隔距离( 0.2 )将在以后的实验中使用。

五、网络测试与对比分析

为了验证TSADCNN的有效性,我们进行了网络适应性测试、网络抗噪性测试、真实场景测试以及对比实验。

A.网络适应性测试

上述几百个目标出现在同一场景的可能性较小,而跟踪中断通常是由特殊的机动目标造成的。所以,我们想比较网络在特殊条件下的性能。本节设计了四种典型的运动场景来测试网络在特殊条件下的适应性。每个场景的设置如下:场景1由两个相互对峙的目标组成,目标同时中断。场景2包含两个二维交叉运动目标,在交叉点处中断。场景3由两个目标组成,在交叉路口实现两次交叉机动和中断。场景4由两个相切时中断的切向运动目标组成。这些典型运动场景的关联结果如图6所示。
以图6 ( d )为例,TSADCNN可以提取时空信息,学习不同目标的运动趋势。因此,TSADCNN可以根据运动趋势,将目标1的旧轨迹段与目标1的新轨迹段相关联,而不是将目标2与之相关联,这类似于人类的判断过程。由图6可知,TSADCNN具有良好的自适应性,在应对真实情况时表现良好,不会因轨迹交叉或相切而产生关联误差。

B、网络抗噪声测试

以上所有的仿真实验都是基于无噪声的理想仿真航迹数据集,但是在真实环境中获取这样的无噪声理想数据集是非常困难的。为了探究本文方法的抗噪声性能,在本节中,我们比较了不同噪声场景下的关联效果。在无噪数据集中分别加入均值为0、标准差为2、4、6 km的高斯噪声,模拟不同的噪声水平。不同噪声场景下的关联结果如表III所示,这些噪声水平在P @ 5条件下的视觉关联结果如图7所示。
由表三可知,在均值为0、标准差为6km的噪声下,本文方法对非密集目标能够保持可靠的关联。但对于密集目标,由于噪声的影响,航迹采样点被遮挡,航迹片段的时间信息和空间信息难以提取,关联精度降低。总体而言,对于标准差小于6 km的噪声下的关联,本文方法能够取得较好的关联效果,证明本文提出的网络具有较好的抗噪性能,能够有效提取噪声条件下轨道区段的时间关联信息和空间结构信息。

C.真实场景测试

网络适应性测试和网络抗噪性测试证明TSADCNN能够适应复杂的目标运动场景,并且能够抵抗噪声的干扰。在实际场景中,除了机动和噪声外,情况更加复杂,这对TSADCNN的性能提出了挑战。为了探究TSADCNN在真实场景下的性能,在本节中,我们使用自动相关监视广播( ADS-B )数据集来训练和测试我们提出的方法。ADS - B的主要信息是飞机的四维位置信息(经度、纬度、海拔和时间)和其他可能的附加信息(冲突预警信息、飞行员输入信息、航迹角、飞行拐点等。),以及飞机的身份信息和类别信息。此外,还可能包括航向、空速、风速、风向和飞机温度等其他信息。选取飞机的四维位置信息作为目标的特征,训练TSADCNN。测试场景中目标数量范围为2 ~ 10,关联结果如表IV所示,典型真实场景的视觉关联结果如图8所示。
由表4和图8可知,TSADCNN在复杂的真实场景下能够取得很好的关联效果。然而,对于7个目标( a )的场景,关联精度大大降低。从图8 ( a ) (有七个目标的情景)中可以观察到,目标2和目标5的航迹片段看起来非常相似,几乎重合,这使得分离它们变得非常困难,从而导致虚假关联。对于图8 ( c )和( d ),由于目标数量过多,目标非常密集,对于部分重叠目标,关联十分困难,关联精度略有下降,但关联能力依然可靠。综上,我们可以推断出TSADCNN在真实场景中具有良好的关联能力,并且能够克服TSADCNN的复杂性。

D .对比实验

本节将我们的方法与传统TSA [ 29 ]、MM-GNN TSA [ 30 ]和多帧S - D TSA [ 31 ]进行比较。对比实验的目标数量为5个。中断前后,目标保持匀速直线运动模式,目标可能转换为匀加速运动模式的匀速曲线或中断间隔内的匀速曲线运动模式。定义雷达测量更新周期时间Tra = 5sand Tit为中断间隔内雷达更新时间的个数。
各目标的运动状态如下:对于目标1,起始位置为( - 27000 m , 0 ),起始速度为( 250 m / s、0 ),在中断区间内保持匀速直线运动模式。对于目标2,起始位置为( - 30000 m , 1000 m),起始速度为( 300m / s , 0 ),在中断间隔内转换匀加速运动模式,加速度为( -0.5 m / s2、- 1.7 m / s2)。对于目标3,起始位置为( -25 000 m , -1 000 m),起始速度为( 200m / s , 0 ),在中断间隔内转换匀加速运动模式,加速度为( -0.8 m / s2、1.4 m / s2)。对于目标4,起始位置为( - 30 000 m , - 2000 m),起始速度为( 300m / s , 0 ),在中断区间转换匀速曲线运动模式,角速度为ω = π / 200 ( rad / s )。对于目标5,起始位置为( -27500 m , 2000 m),起始速度为( 250m / s , 0 ),在中断间隔内转换匀速曲线运动模式,角速度为ω = -π / 150 ( rad / s )。对比实验中所有目标的航迹信息如图9和表5所示。
在这里插入图片描述
为描述这些TSA算法的关联效果,定义如下评价指标:
1 )平均真实关联率
R t a = n t n R_{t a}=\frac{n_{t}}{n} Rta=nnt
2 )平均误关联率
R f a = n f n R_{f a}=\frac{n_{f}}{n} Rfa=nnf
3 )平均漏判率
R o a = n o n R_{o a}=\frac{n_{o}}{n} Roa=nno
4 )平均关联时间
T = T 0 N T=\frac{T_{0}}{N} T=NT0
其中n和N分别为所有实验的目标数和所有实验的目标数, n t n_{t} nt为正确关联的目标数, n f n_{f} nf为错误关联的目标数, n o n_{o} no为省略的目标数,且 n t + n f + n o = n n_{t}+n_{f}+n_{o}=n nt+nf+no=n T 0 T_{0} T0是每种TSA算法所有仿真所需的时间。
设置不同的中断间隔,基于50次仿真,对比实验的关联结果如表6所示。此外,我们选取 T i t = 10 T_{i t}=10 Tit=10的场景为例,将TSADCNN的关联结果展示在图10中。
由表6可知,随着中断间隔的增加,传统TSA的性能急剧下降,而MM - GNN TSA、多帧S - D TSA和本文方法均能保持较好的性能,且本文方法的性能优于MM - GNN TSA和多帧S - D TSA。例如,对于传统的TSA,当 T i t = 14 T_{i t}=14 Tit=14时,可以得到 R t a = 10 % , R f a = 38.4 % R_{t a}=10 \%, R_{f a}=38.4 \% Rta=10%,Rfa=38.4%, and R o a = 51.6 % R_{o a}=51.6 \% Roa=51.6%,存在大量的虚假关联和遗漏关联。表明传统TSA的关联结果不可靠。相反,对于TSADCNN而言,尽管存在 T i t T_{i t} Tit数量,但始终可以保持 R t a = 100 % R_{t a}=100 \% Rta=100%,具有可靠的关联能力。得益于较好的轨迹预测能力,MM-GNN TSA和多帧S - D TSA可以得到与TSADCNN相当的关联结果。
然而,由于需要预测每个轨迹点的位置,这些方法需要大量的关联时间。而TSADCNN可以直接将航迹片段映射到高维空间,在一定程度上避免局部航迹态势混淆。因此,我们的方法可以获得更快的推理速度,并且在算法性能上有所改进。与最佳性能相比,TSADCNN的 R t a R_{t a} Rta在长中断间隔下可提高1.3 %。我们可以推断我们的方法可以实现更快的推理速度,提高TSA的性能。
Ⅵ.结论
为了避免需要过多的先验信息、假设运动模型和复杂的计算,本文提出了TSADCNN来完成TSA任务。TSADCNN包含两个模块:时间相关性信息提取模块和空间结构信息提取模块。在距离损失和对称损失的约束下,TSADCNN可以提取一个对称的相关矩阵,使得属于同一目标的航迹片段在高维空间中变得更近,而属于不同目标的航迹片段在高维空间中变得更远。因此,在高维空间中很容易区分航迹,选择距离最近的新旧航迹段对作为关联结果。通过训练TSADCNN,找到TSA的最佳维数和间隔距离。仿真结果表明,TSADCNN具有良好的自适应性和抗噪能力。同时,它可以在质量和效率上优于另一种TSA。与最佳性能相比,TSADCNN在长中断间隔下的平均真关联率可提高1.3 %。然而,对于稠密和重叠的目标,由于它们的时空信息过于相似,有时会出现关联错误。如何克服这一问题将是下一步的研究重点。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值