3D人体姿态估计（介绍及论文归纳）

基本概念

• 算法改进思路：
  • 网络设计
  • 特征流
  • 损失函数
  • 把问题黑箱化或者半黑箱化，然后从神经网络结构设计、数据处理、增强以及其他机器学习数学方法去暴力式的解决。
  • PersonLab和PifPaf引入复合场(Composite Field)的概念，预测人为设计好的高维度向量来处理人体姿态预测问题，让模型预测更加巧妙的监督信息, 并且能降低量化误差，设计保持期望的一致性的关联肢体得分公式，再加之快速贪心算法，利用人体的连通特性就能得到多人姿态
  • 提出无监督的方式处理人体部件
• 数据集：目前，3D姿态估计的主要瓶颈是缺少大型的室外数据集，并缺少一些特殊姿态的数据集（如摔倒, 打滚等）。这主要由于3D姿态数据集是依靠适合室内环境的动作捕捉（MOCAP）系统构建的，而MOCAP系统需要带有多个传感器和紧身衣裤的复杂装置，在室外环境使用是不切实际的。因此数据集大多是在实验室环境下建立的，模型的泛化能力也比较差。
• 集成新一代AutoML技术，降低算法试错成本
• 人体姿态估计（Human Pose Estimation）：指图像或视频中人体关节的定位问题。即，在所有关节姿势的空间中搜索特定姿势。
• 2D姿态估计（2D Pose Estimation）：从RGB图像估计每个关节的2D Pose (x, y) 坐标。
• 3D姿态估计（3D Pose Estimation）：从RGB D图像中估计每个关节的3D Pose (x, y, z) 坐标。
• Human Pose Estimation 又被称为 Human Keypoint Detection
• 人体位姿：
  • 位姿中的每一个坐标点被称为一个“部分 (part) ”或关节 (joint) 或关键点 (keypoint)
  • 两个部分之间的有效连接被称为一个“对 (pair) ”或肢体
  • 不是所有的关节之间的两两连接都能组成有效的pair（肢体）
• 基于判别的方法：把姿态估计当做一个回归问题

姿态估计难点

• 小且几乎看不到的关节
• 部分遮挡 (partial occlusion)
• 不同视角 (view-point)
• 衣服颜色 (black is bad) 及材质
• 光照变化 (lighting change)
• 背景杂乱 (background clutter)

人体结构化特性

• 身体部位比例
• 左右对称性
• 互穿性约束
<