人体姿态估计的应用场景

这个是非常不错的案例，是一个叫晓耳朵的APP，在应用市场上可以下载到，输入你耳朵的照片，人工智能就可以识别出耳朵上面穴位的位置，这也是一个关键点检测的任务，然后它就可以告诉你耳贴应该贴在哪里，红色的点表示平面，绿色箭头的点表示曲面，这个耳贴就这样贴，所以关键点检测是无处不在的， 只要你能想到，只要你能看出来，只要你能标注出来，就可以用今天讲的方法，训练出关键点检测的模型， 在各种各样的关键点检测任务里面，有一类关键点特别重要，那就是人身上的关键点，特别是人体，骨架， 关节对应的关键点，这一类任务统称为Human Pose Estimation，人体姿态估计，也叫HPE任务，这是人工智能里面研究非常热门的子领域，MMPose其实就是解决的就是这个子领域的问题。

最简单的人身上的关键 点就是骨架关键点，比如胳膊肘，脚踝，手腕，膝盖，胯，肩膀，这是一些人身上最明显最常见的关键点，也是每天都在用到的关键点，有了这些关键点，能够做出很多有趣的应用。

AI深蹲计数，可以定量判断出你做的健身动作是否标准，并且能够数你做了几次这个动作，不 管是深蹲也好，还是高抬腿，还是仰卧起坐，引体向上，俯卧撑，这种一下一下的可以计数的运动，都可以 定量的识别出来，比如说这个引体向上的案例，可以设置不同的阈值，只有当下巴完全过杠才会算作一次成 功的计数，刚刚那个下巴没有过杠，就没计数，现在又过杠了，就又计数，所以设置不同的阈值，可以定量 精准的衡量出你做的动作是否标准，你可以设置一些阈值，比如说只有下巴完全过杠才可以，比如说深蹲蹲 到足够深才算是一次成功的健身，这样就可以使用AI来辅助体育和健身了。

手部关键点检测，可以把手上的每一个指节，检测出来，基于这个指节，可以做出一系列后续的手势的控制，比如说你可以做一个开关，比如说你可以用两个指头之间的距离来控制音量，比如你可 以比一个爱心来触发某一个事件，还可以隔空去控制键盘做输入，因为疫情，很多地方都是非接触式的，比如说在坐电梯的时候，如果我们去按了一下按键，别人又去按了一下，那就很容易传播疫情，那有了这种隔 空操作的人机交互的方法，可以防范疫情的传播。

人脸468个关键点和瞳孔10个关键点的关键点检测，有了人脸关键点和瞳孔关键点之后，可以做一个下游任务，可以做Gaze Estimation视线估计,注视方向的识别,就是把我此时此刻眼神在屏幕上的哪一片区域，在手机上的哪一 片区域，定量预测出来，不仅仅是可以用眼神控制鼠标，更重要的是可以把人的注意力进行量化，比如说一 个广告，观众更愿意看这个明星的脸，明星的包，明星的腿，明星的鞋，还是看明星的纹身呢，这些问题都可以通过这个技术来解决，有了这个技术，就可以给更精准的广告投放，更精准的推荐提供依据，因为广告的本质就是把注意力量化，把注意力变现，当然也可以用眼神控制鼠标。

之前介绍的都是关键点骨架检测，检测出来的是一个火柴人，除了火柴人之外呢，可以进一步把整个 人体的外表面轮廓给检测出来，也可以把整个人体三维还原重构出来，所以今天讲的更偏向于是火柴人， Skeleton骨架模型，后面还有基于表面和基于三维空间立体的模型。

比如上面这个是Facebook提出来的DensePose任务，DensePose就有点把整个人体表面包络出来的 意思，什么原理呢？

是把整个人体划分为了24个区域，比如说左手是一个区域，右手是一个区域，总共划分了24个区域，也就是 24个局部坐标系，在每一个坐标系中，一个点有两个坐标，一个坐标是u，一个坐标是v，就像地球仪上的经 度和纬度一样，在局部坐标系里面有一个经度，有一个纬度，有一个u，有一个v，就可以确定出一个点的位 置，人体身上的每一个点都可以映射到这24个局部坐标系当中的u和v，DensePose任务就是要输入一张图 像，预测出来这张图像所有像素的patch，就是归属到哪一个坐标系，24个部分的哪一部分，以及在这个局 部坐标系当中的u和v。