20220330 姿态估计、动作识别

一.关键点姿态估计

在计算机视觉任务中，关键点是指图像中的一些特定位置，例如人体关键点、面部特征点等。预测关键点的方法很多，其中一种常见的方法是使用Heatmap来预测。
Heatmap是一种图像，其中各个像素的值表示该位置的特征强度或权重。在预测关键点的任务中，Heatmap可以用来表示图像中可能存在的关键点的位置和置信度。具体来说，对于图像中的每个关键点，可以根据其位置在Heatmap上生成一个高斯分布，然后将每个高斯分布叠加到Heatmap上，生成一个包含所有关键点位置信息的Heatmap。
在训练时，我们将生成的Heatmap与真实的Heatmap进行比较，计算两者之间的损失，然后通过反向传播来更新神经网络中的权重。在测试时，我们可以使用预测的Heatmap来得到关键点的位置和置信度。具体来说，我们可以通过查找Heatmap中的最大值来找到每个关键点的位置，然后使用该位置作为预测值。同时，我们还可以使用Heatmap中的最大值作为置信度，表示该位置是关键点的概率。
需要注意的是，预测关键点的方法不止一种，除了使用Heatmap外，还可以使用一些其他的方法，例如直接回归关键点坐标、使用卷积神经网络等。选择不同的方法，需要根据具体的任务需求和数据特点来进行选择和优化。

1.人体关键点

GitHub - stefanopini/simple-HRNet: Multi-person Human Pose Estimation with HRNet in Pytorch

2.人脸关键点 

paddlepaddle-tinypose  HRNET-lite  yolov5-face

3.Alphapose

https://www.cnblogs.com/sakuraie/p/13341507.html

4.自上而下GitHub - sithu31296/pose-estimation: Easy to use SOTA Top-Down Multi-person Pose Estimation Models in PyTorch

5.自下而上

GitHub - wmcnally/kapao: KAPAO is an efficient single-stage human pose estimation model that detects keypoints and poses as objects and fuses the detections to predict human poses.

二.行为分析

1.GCN

GitHub - tkipf/gcn: Implementation of Graph Convolutional Networks in TensorFlow

三.动作识别

方案

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/pphuman_action.md#%E5%9F%BA%E4%BA%8E%E9%AA%A8%E9%AA%BC%E7%82%B9%E7%9A%84%E8%A1%8C%E4%B8%BA%E8%AF%86%E5%88%AB

1.slowfast

行为识别. slowfast算法 - 知乎

GitHub - facebookresearch/SlowFast: PySlowFast: video understanding codebase from FAIR for reproducing state-of-the-art video models.

2.tsm

视频分类 | 论文 2019 [TSM] TSM: Temporal Shift Module for Efficient Video Understanding - 知乎

ppTSM(Paddle temporal-shift-module)训练部署记录

 https://github.com/mit-han-lab/temporal-shift-module

3.mmaction2

https://github.com/open-mmlab/mmaction2

https://github.com/kennymckormick/pyskl

4.

https://github.com/PaddlePaddle/PaddleVideo