(2021CVPR)One-shot action recognition in challenging therapy scenarios

仅浅读了论文,若有理解不对,还望指出。

方法

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CWjFFArm-1633697142953)(assets/image-20211008184259-y1l2v7j.png)]

输入:3D pose 序列

第一步:正则化,从原始的系统W坐标系转换为新系统坐标系H。该变换会更换视角,但保持节点之间的相对位置不变性。如下图,从原本的W视角转换成了H视角。这种处理方法是常用的3D骨架正则化处理方法。简单描述这个转换方法:它以两个髋部连线为x轴,其中点与脊柱的连线为z轴,然后求出与xz垂直的y。此外,为了不同高度的人具有可比性,还进行了坐标的缩放,使之身高相同。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8c8wEVjY-1633697142956)(assets/image-20211008184835-4xarp7w.png)]

第二步:特征提取

先计算两个额外的信息。

  • (关键点对的距离信息)P,这个可以形象地理解为身体部位长度的计算。
  • (原始数据中关键点对的角度和高度)B,可以理解为身体部位的屈角和高度。

然后使用将修正后的骨架、P、B作为输入,使用TCN进行特征提取。

第三步

利用anchor最后一帧的embedding作为anchor特征(猜测TCN可能和RNN一样,最后一帧的输出包含了之前所有帧的信息),然后计算anchor和target之间的距离,距离计算方法有两种,cos和js。根据评估数据集上的精确度和召回率设置距离阈值,距离小于一定该阈值则接受之。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值