高分辨率网络(HRNet),
高分辨率网络(HRNet),能够在整个过程中维护高分辨率的表示。从高分辨率子网作为第一阶段的开始,逐步增加高分辨率到低分辨率的子网,形成更多的阶段,并将多分辨率子网并行连接。在整个过程中,通过在并行的多分辨率子网络上反复交换信息来进行多尺度的重复融合。通过网络输出的高分辨率表示来估计关键点。生成网络如图
与pose estimation的网络相比,此网络有两个好处: 1、此网络采用的是并行连接高分辨率到低分辨率的子网,因此,此方法能够保持高分辨率,而不是通过一个低到高的过程恢复分辨率,因此在预测的热图可能在空间上更精确 2、此网络使用重复的多尺度融合,利用相同深度和相似级别的低分辨率表示来提高高分辨率表示,反之亦然,从而使得高分辨率表示对于姿态的估计也很充分
GCN图卷积神经网络
GCN,图卷积神经网络,作用和CNN差别不大,本质上还是一个特征提取器,只不过他服务的对象是图数据,GCN很巧妙的设计了一种从图数据中提取特征的方法,从而可以让我们使用这些特征去对图数据进行节点分类、图分类、边预测、还可以顺便得到图的嵌入表示,用途是十分广泛的。图卷积神经网络主要有两类,一类是基于空间域或顶点域的,另一类则是基于频域或谱域的。GCN的核心部分: 假设我们手头上有一批图数据,其中有N个节点,每个节点都有自己的特征,我们设这些节点的特征组成一个N*D维的矩阵X,然后各节点之间的关系也会形成一个N*N维的矩阵A,也成为了邻接矩阵,X和A就是这个模型的输入。GCN也是一个神经网络层,它的层与层之间的传播方式是:
POSE_ROOT 代码数据流分析: