子豪兄给大家讲解了一下OpenMMLab在学术界和工业界的应用,开源的各种代码的功能,从图像识别,动态估计,图像分割等,在发表文章和工业界都有应用。
卢策吾老师给大家讲解的更专业,由于本人水平有限,部分听的不太懂,太专业的笔记可能有错。
人体姿态概述
介绍了人体姿态是如何识别的,首先要定位关节点,关节点的定位可以通过坐标定位,也可以通过热力图来定位,目前热力图的精度比较高。
卢老师讲解了回归和热力图的不同优势劣势。
2D姿态估计
多人姿态估计:先定位关键点,再通过聚类来确定属于哪个人。
残差在数理统计中是指实际观察值与估计值(拟合值)之间的差。
DeepPose:第一级以全身图像为输入,预测
局部图像的局限 反卷机是什么
HRNet的特征融合方式
自底向上方法 :如果两个关键点有同一段肢体相连,那它可能是属于同一个人的。
SPM从2D图像扩展到3D图像
根节点根据热力图回归
姿态估计
绝对坐标:各关节在相机坐标系中的坐标。
相对坐标:关键点相对于骨盆点的坐标。
直接;利用视频帧间的联系做辅助;
评估指标
肢体检出率
关键点相似度OKS
DensePose与人体参数化模型
网络结构与改进
身体的表面网络
混合蒙皮技术
线性混合蒙皮LBS
SMPL人体参数化模型