AlphaPose阅读

• PixelShuffle + DUC（Dense Upsampling convolution）博客
• Pytorch的可视化，使用 Netron
  • Netron 安装：pip install netron 或者 直接使用在线网站 Netron在线
    • 或者在命令行运行 netron，在浏览器本地链接中打开 onnx 格式的网络
  • netron对pth文件解析比较差，所以可以传为onnx格式

    m = model()
    d = torch.rand(1, 3, 416, 416)
    onnx_path = "onnx_model_name.onnx"
    torch.onnx.export(m, d, onnx_path)
    netron.start(onnx_path)
    

  • PS：
    • onnx 不支持 GPU的模型和tensor，需要在cpu下进行 export
      • 直接在os中将所有 device 设为不可见，可以全在cpu下，先把pth转为onnx
      • os.environ[“CUDA_VISIBLE_DEVICES”]="-1" # 禁用GPU
    • onnx 对于多输入的网络，使用()将所有输入包裹，形成tuple即可
    • onnx 不支持输入dict的网络，支持list等
    • error message：参考
      • RuntimeError: ONNX export failed: Couldn’t export operator aten::gather
        • 在 export 函数后面加上：operator_export_type=torch.onnx.OperatorExportTypes.ONNX_ATEN_FALLBACK)
        • 该方法只是阻止ONNX替换PyTorch的OP、而是使用ATen的OP替换，PyTorch2ONNX能通，但ONNX2TRT却不能通，原因是ONNX phaser识别不到非ONNX的OP。

网络结构图片

Pose Estimation

• TODO

Pose Tracker

• 使用yolo检测人体，结合reID给出视频各帧的人体位置
  • 开n个子进程来进行计算
  • 开n个子进程进行关键点绘制
• 使用pose估计，对人体区域进行姿态估计
  • 17个点
  • 可以后期吧 左肩和右肩中间的点等画出来

Pose Flower

• 知乎-介绍

• PE: Pose estimation，姿态估计，静态图像上人体姿态识别

  • down-to-top：先识别图像中的人体关键点，再从下往上优化，连接点形成人体姿态
    • 理论上速度更快，算法耗时不受人数影响
    • 算法精度不高，没有人体的全局视野，误差较高
  • top-to-down：先检测人体，在单个人体检测框中识别关键点
    • 算法精度高，速度会受人数印象

• PT: Pose tracking，姿态跟踪，视频上人体姿态识别

  • 检测跟踪人体后reID得到的人体，再进行静态图像识别

• PF: Pose flow，姿态流，指不同帧中的同一姿态目标序列

  • PoseEstimation容易受人体检测patch质量的影响
  • 直接关联跨帧的Pose
  • 算法速度下降

• Pose Trajectory: 姿态轨迹

AlphaPose结果说明

• json

{"image_id": "0.jpg",  # name
"category_id": 1,  # class label
"keypoints": # 17 x 3
	[291.9117431640625, 465.5832214355469, 0.9577726125717163,  # x, y, confident
	303.3057861328125, 454.189208984375, 0.9402605295181274, 
	284.3157043457031, 454.189208984375, 0.9539928436279297, 
	... # all 17 rows], 
"score": 3.025770664215088, 
"box": [233.6732635498047, 421.1465148925781, 135.4669952392578, 388.9162902832031], # x, y, w, h
"idx": 1} # ID of obj