一.图卷积神经网络和姿态估计
关于GNN,GCN建议看下面的视频,非常容易明白:
简单粗暴带你快速理解GNN_哔哩哔哩_bilibili简单通俗的带你理解GNN的原理以及GNN能够做的工作。专业性较低,通俗性较高。之后如果有需要,可以做一期GCN图卷积神经网络的视频。谢谢大家。https://www.bilibili.com/video/BV1Tf4y1i7Go?spm_id_from=333.999.0.0带你快速理解R-GCN(relational-GCN)_哔哩哔哩_bilibili欢迎关注我的知乎账号:深度revealer论文:《Modeling Relational Data with Graph Convolutional Networks》 主要是带大家快速理解一下R-GCN,这样再看论文的话就会事半功倍。并且也大概介绍了一下GCN的一些基本task,希望对大家能有所帮助。谢谢大家!!!
https://www.bilibili.com/video/BV1kh41117ts?spm_id_from=333.999.0.0通过上面视频可以得到一个非常非常重要的结论:
GNN得到的是每个节点的feature,本质上就是一个特征提取的过程!!!!
人体的不同关节点连接可以看成一个图,这是我们将图卷积运用在姿态估计中的本质,要得到的是人的每个关节点的feature,这样就能估计出人体的姿态
二.model
论文中的符号说明:
:偏移回归结果
:第k个gt关键点的坐标
:第k个heatmap的所有引导点坐标
:细化的分类结果
:细化得到的坐标
:引导点在对应heatmap上的置信度得分
:通过精细化处理后得到的keypoint的坐标
三种不同的引导点
使用图神经网络得到每个关节点的特征值
公式如下:
可以看出这是使用平均的思想,并没有考虑到节点各自的度,感觉与GNN思想类似
三.问题
论文中没有给出代码,这里有一些没有看懂的地方,文中说一共有k个关节点,每个关节点采样N个引导点,这样可以构建N个pose graph for N × K guided features ,这句话没理解,这里每个pose graph 的节点值到底是怎么选的呢,选的是哪个引导点呢?