背景:
- 早期追踪器在缺乏强的低水平线索下,容易失败
- 检测后跟踪的模型依赖于检测器,且需要一个单独的阶段匹配
- 关联策略的时间长
简介:
基于点的跟踪思想,通过预测目标的中心点来进行跟踪,同时实现检测与跟踪的同步,结合目标检测和运动估计,使得在处理动态场景时更高效、更准确。通过同时处理目标的位置信息和运动轨迹,CenterTrack 能够实时跟踪多个物体。
实现过程:
- 通过时间跟踪中心点
- 在两个连续帧上调节检测器以及先前轨迹的热图,表示为点
- 基于预测偏移与前一帧中检测到的中心点之间的距离的贪婪匹配做对象关联
CenterNet检测器:
采用CenterNet定位对象中心,每个对象都由其边界框中心的一个点表示
Backbone DLA:
核心思想:
DLA将网络中不同层级的特征进行融合,以捕获图像的语义信息和空间信息。这种融合方式包括了DenseNet的密集连接,以聚合语义信息,还包括空间特征金字塔(Feature Pyramids)以聚合空间信息。通过这种结合方式,更好地获取目标的类别和位置信息。
DLA-34架构:
在CenterNet中,DLA-34由多个阶段组成,每个阶段都包含了一系列的卷积层和聚合操作。DLA-34的特点是它在不同的阶段之间使用了迭代深聚合(Iterative Deep Aggregation, IDA)和层次深聚合(Hierarchical Deep Aggregation, HDA)技术,有助于在不同分辨率和尺度上聚合特征。
CenterNet中对DLA的改进:
添加可变形卷积(Deformable Convolution)来增强模型对目标几何变化的鲁棒性;改进后的网络被称为DLASeg,它在DLA-34的基础上,引入可变形卷积和上采样层,提高空间分辨率,更好地进行目标分割。
ADAM优化器:
Adam优化器,全称Adaptive Moment Estimation(自适应矩估计),是一种用于深度学习中的优化算法。结合了动量和RMSprop两种优化方法的优点,通过计算梯度的一阶和二阶矩估计来调整每个参数的学习率,从而实现自适应学习率调整。
工作原理:
-
初始化:在训练开始前,Adam会初始化两个关键参数:一阶矩估计(m)和二阶矩估计(v),分别对应梯度的指数加权平均值和梯度平方的指数加权平均值。
-
计算梯度:在每次迭代中,计算当前参数下的梯度。
-
更新一阶矩估计:一阶矩估计(m)是梯度的指数加权平均值,考虑了过去的梯度信息,类似于动量项,有助于平滑训练过程。
-
更新二阶矩估计:二阶矩估计(v)是梯度平方的指数加权平均值,用于调整每个参数的学习率,类似于RMSprop。
-
偏差校正:由于一阶矩和二阶矩估计在初始阶段可能会有偏差,Adam通过偏差校正来调整这些估计值,以提高优化的准确性。
-
更新参数:使用校正后的一阶矩和二阶矩估计值来更新模型的参数。