深度学习---单目标关键点检测网络Stacked Hourglass

前言

Stacked Hourglass Networks是2016年提出的一种用于单人人体姿态估计的网络，并取得了很好的效果。这里我们从网络结构以及一些实现细节简单分析下这个网络。

一、网络结构

1.1 网络整体结构

网络名字Stacked HourGlass（堆叠的沙漏）其实已经反应了网络的大致结构，由像沙漏一样的结构堆叠而成，每一个沙漏结构在文章称为Hourglass模块，hourglass模块之间还有一个中间监督层（Intermediate Supervision），用于衔接各个hourglass模块，通过这样的架构，不断重复进行自上而下，自下而上的推断机制，通过这种机制从而能够重新评估整张图像的初始估计和特征。

1.2 Hourglass模块

前面提到的hourglass模块如下图所示，其在论文中由4层组成，方格的大小表示特征的维度，每一个方格都表示一个残差块，大体逻辑是先降维然后通过残差块提取特征，再升维后进行特征融合。

由于其层级结构，所以在实现上采用了递归的方式。

残差块如下图所示。

1.3 中间监督层

上一个Hourglass的输出经过由残差块处理得到特征A，该特征经过两个分支，

• 一个分支经过1*1的卷积得到相同的维度特征作为下一个hourglass模块的输入。
• 另一个经过1_1的卷积输出得到中间层生成的heatmaps，可以和真实的标签计算loss，这些特征层再经过1_1的卷积输出和A相同的维度特征，然后也作为下一个hourglass模块的输入。

所以下一个hourglass模块的输入有三个，两个在上面提到，还有一个是输入到hourglass的特征。

为什么中间监督那么关键？
这是因为当通过每个Hourglass模块时，网络都将有机会在局部和全局上下文中处理特征，然后生成预测。 随后的Hourglass模块允许这些高级特征再次被处理，以进一步评估和重新评估更高阶空间关系。

二、实现细节

2.1 标签生成

假如有3个关键点，那真实的训练标签就有3张对应的HeatMap图。关键点由x,y坐标表示，那如何将其转换成训练用的HeatMap呢，采用高斯热力图，也就是越靠近关键点位置，其值越接近于1，越远越接近于0。

其中sigma用于控制高斯热力图的范围。越大形成的热力图范围越大。

2.2 结果解析

网络训练完成后，推理阶段输出的也是HeatMap图，那要得到关键点位置信息，就需要进行解析，其过程刚好和上面标签生成相反，即找出heatMap中最大值所在位置作为关键点位置。

• 效果
  

三、模型部署

3.1 模型转换

将训练好的模型转换为ONNX格式

3.2 模型推理

推理可以采用前面提到过的OpenCV的DNN模块，或者采用NCNN进行推理。
大体思路是获取最后一个hourglass模块的输出，然后解析出每一个HeatMap最大点的位置，这些位置再转换到原图即检测到的关键点位置。

最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

五、面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】