论文阅读——《基于深度学习的行人追踪与姿态识别算法研究》

文章架构

一、绪论与引言

1、背景与意义

  智慧交通成为交通系统的重要目标；行人作为交通系统的重要组成部分，需要提高对其的关注度。可通过将先进的传感器机技术与计算机技术结合，快速对行人信息进行智能化分析和处理，从而实现高效的管理。
  目前对行人的检测有：行人检测、行人追踪、行为分析等。

• （1）行人检测：实时检测和对小目标的检测有待提高
• （2）行人追踪：面对遮挡和行人与车辆之间的相对速度，无法对行人长时间追踪
• （3）行为分析：姿态复杂，没有统一的姿态评价标准，亟需可提高行人姿态分析判断的算法。

2、国内外现状

• （1）目标检测：主要是轻量化特征提取网络模型和网络模型压缩来提高算法速度、特征融合和优化检测算法等来提高算法的精度和检测能力。目前主流算法是YOLO（one-stage）和RCNN（two-stage）。
• （2）目标追踪：在连续视频序列或者图像中，找到指定目标的位置信息。目前对目标追踪的认为主要分为：单目、多目和重识别技术。目标追踪算法主要分为传统算法、相关滤波算法和深度学习的跟踪算法。
•   随着深度学习技术和卷积神经网络不断的迭代优化和传统算法与相关滤波无法提取到深层次的特征信息，从而限制算法对目标位置的预测和更新，研究人员考虑将基于深度学习的网络模型运用到目标追踪领域，通过不同结构的特征提取网络和多特征融合等方法得到更有利于目标追踪的模型。
•   相比于传统算法，采用基于中心店的centerNet模型等对追踪目标进行特征提取，这些深度学习模型有助于获取到浅层的外观信息和深层的语义特征，从而进一步对目标进行追踪。
•   多特征融合：通过在特征提取网络的基础上，对空间和通道上的特征信息增加注意力机制得到特征的权重，根据权重对空间通道的特征信息和对低层次高层次特征信息融合，这样做的好处是可以提取到更有代表性的特征信息，进一步提高跟踪算法的精确度和泛化能力。
• （3）姿态识别：行人的多人姿态估计研究总体可分为自上而下和自下而上两大类方法。
•  自上而下：首先对行人在图像中进行定位，然后对行人进行姿态估计。缺点：速度慢。
•  自下而上：先检测出人体关键点，然后连接关键点，姿态识别。

3、研究难点

• （1）行人检测难点：光照不均匀、行人尺寸多变、行人与背景难以区分、运动速度等。
• （2）行人追踪难点：行人遮挡、形变、尺度变化等现象会导致检测器无法提取特征信息，进而无法在相邻帧中进行ID追踪。为了保证追踪的准确与实时，需要增加相邻帧行人特征的匹配条件和改进检测器的检测能力，这时大参数量和计算量增加会导致追踪算法不实时。
• （3）姿态估计难点：（1）衣着、遮挡、视角等影响会导致关键点无法检测。（2）人体骨架图的姿态判断。复杂姿态样本数据过少，无法使得算法更好优化。【此处原文说的不太清晰】。

4、论文研究内容与章节安排

  章节安排应该不用多说，以下将会详细介绍研究内容：
基于自动驾驶和辅助驾驶的行人检测、追踪、姿态识别。

• （1）改进YOLOv3-tiny进行行人检测
• （2）deepsort算法为基础，引入shufflenetv2_0.5（这是什么网络……）重新训练外观特征信息和优化IOU匹配，完成对多个行人目标的检测追踪。
• （3）基于openpose获取行人骨架图。
• （4）将检测、追踪、姿态识别等算法植入嵌入式平台Jetson Nano上进行分析，说明了算法在硬件条件受限时的可行性。

二、行人追踪与姿态识别相关技术

  随着技术发展，特征提取已经发展到了现在的深度学习特征提取网络，也已经从普通卷积发展到了现在的空洞卷积、深度卷积等方向。从目标检测技术上看，分为传统检测算法和基于深度学习的RCNN与YOLO。从多目追踪看，主要分为生成式模型算法与判别式模型算法。从姿态估计看，分为自下而上和自上而下。

1、特征提取方法

（1）传统特征提取方法

• SIFT算法
    2004年提出，用于提取图像信息的局部特征，可对不同角度，不同场景的图像保持提取关键点的不变性。其优点是：稳定性好、区分强、特征信息多量性和易扩展性等。该算法在图像旋转、尺度缩放和亮度变化时可保持关键点不变，在大量图像信息中科准确区分特征信息。
   步骤：
  （1）采用高斯函数构建尺度空间
  （2）利用DOG函数构建高斯差分金字塔。
  （3）寻找DOG空间上的极值点，初步筛选关键点
  $$L(x$$