【论文笔记】3D Human Pose Estimation with Spatial and Temporal Transformers

最新推荐文章于 2024-04-30 09:43:21 发布
最新推荐文章于 2024-04-30 09:43:21 发布
阅读量1.2k 收藏 5
点赞数 1
文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ys578676728/article/details/115612828
版权

论文链接：https://arxiv.org/pdf/2103.10455.pdf
github地址：https://github.com/zczcwh/PoseFormer

1. 方法归类

  • 3d human pose estimation
  • 2d-3d lifting
  • video-based

2. 创新点

  • 提出了首个纯transformer-based模型：PoseFormer。
  • 设计了一个有效的spatial-temporal transformer，同时对骨架和时序信息用transformer进行建模。

3. 效果

  • 主要比较对象：VideoPose3d (Pavllo et al. [32])
  • 精度： 在Human3.6M和MPI-INF-3DHP数据集上都达到了SOTA。
    在这里插入图片描述
    在这里插入图片描述
  • 效率： 在GTX2080Ti上能达到300fps左右，且受输入序列长度影响较小。
    在这里插入图片描述

4. 模型介绍

在这里插入图片描述

4.1 spatial transformer module

4.2 temporal transformer module

4.3 regression head module

Open钢蛋
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
3d人体姿态 2024 笔记
jacke121的专栏
03-30 2447
PoseFormer 该文提出了“第一个”纯基于Transformer的 3D 人体姿态估计网络 （PoseFormer), 算法在 Human3.6M 和 MPI-INF-3DHP 数据库上达到SOTA performance. 论文 ：3D Human Pose Estimation with Spatial and Temporal Transformers https://arxiv.org/pdf/2103.10455.pdf 已经开源：https://github.com/...
3D Human Pose Estimation with 2D Marginal Heatmaps.pdf
02-22
论文
3D Human Pose Estimation with Spatial and Temporal Transformers论文笔记
m0_51897038的博客
11-10 4034
一.概述 3D人体姿态估计的方法主要分为两类：直接估计（Direct estimation）和 2D 到 3D (2D to 3D lifting) 。 其中 2D 到 3D 的方法先利用 SOTA 2D 人体姿态估计算法得到 2D 关键点，再通过神经网络估计 3D 人体姿态。基于其优异的表现，2D 到 3D 已成为主流方法。 与从单张图片中估计 3D 人体姿态相比，从视频中估计 3D 人体姿态能利用时序信息进行更准确的预测。然而主流方法大多利用时序卷积（Temporal convolutional
3D人体姿态估计 & transformer
最新发布
qq_56437152的博客
04-30 881
具备外观和动作多样性的非受限人类视频可以从互联网大量获取，但获取精确的姿势标注需要额外的努力，且获取准确真实（GT）的三维人体姿态几乎是不可能的。我们通过掩码建模学习 PoseBERT 参数，最终得到一个通用的、独立于任务的模型，可以开箱即用，即无需对许多下游任务进行微调，例如去噪姿势序列、恢复缺失序列中的姿势，精炼 3D 中的初始姿势序列、运动完成或未来帧预测。为了更好地建模这些困难的关节，我们根据身体关节到根关节的距离将其分成几组，并将额外的与距离相关的位置嵌入分配给不同的组。
论文笔记：3D Human Pose Estimation with Spatial and Temporal Transformers
m0_53534129的博客
03-15 1663
论文笔记：3D Human Pose Estimation with Spatial and Temporal Transformers
【3D-HPE】3D Human Pose Estimation with Spatial and Temporal Transformers （ICCV2021论文介绍）
sazass的博客
11-28 1088
3D Human Pose Estimation with Spatial and Temporal Transformers 基于时空Transformers的3D人体姿态估计 论文地址：https://openaccess.thecvf.com/content/ICCV2021/papers/Zheng_3D_Human_Pose_Estimation_With_Spatial_and_Temporal_Transformers_ICCV_2021_paper.pdf 代码地址： https://git
[Transformer] TransVOD: End-to-End Video Object Detection with Spatial-Temporal Transformers
Cherry的笔记本
02-28 4177
2022年1月 https://arxiv.org/abs/2201.05047v3 https://github.com/SJTU-LuHe/TransVOD. DETR《End-to-End Object Detection with Transformers》 Deformable DETR《Deformable Transformers for End-to-End Object Detection》 TransVOD 《End-to-End Video Object Detect..
论文阅读笔记--3D human pose estimation in video with temporal convolutions and semi-supervised training -1
weixin_45709671的博客
02-16 1365
前言 读了一篇利用视频做姿态估计的比较经典的论文, 3D human pose estimation in video with temporal convolutions and semi-supervised training. 论文地址: https://arxiv.org/pdf/1811.11742.pdf CVPR 2019收录论文 简单对论文的内容做一些自己的学习笔记, 然后再补充对于论文项目代码的笔记. 基于Video实现单目3D HPE(Human Pose Estimation 人体姿态
3D Human Pose Estimation = 2D Pose Estimation + Matching(2017)
01-07
3D Human Pose Estimation = 2D Pose Estimation + Matching(2017) Abstract Many approaches try to directly predict 3D pose from image measurements,we explore a simple architecture that reasons through ...
Enhancing Human Pose Estimation with Temporal Clues
02-22
Enhancing Human Pose Estimation with Temporal Clues
2019 CVPR_ICCV_CSCV_ 3D Human Pose Estimation PAPER
10-06
在计算机视觉领域，3D人体姿态估计是一项关键任务，它涉及到对图像或视频中人物的三维关节位置的准确预测。2019年的CVPR、ICCV和CSCV等顶级会议上，研究者们展示了众多关于这个主题的创新性工作。这些论文不仅推动了...
2D_3D Pose Estimation and Action Recognition using Multitask Deep Learning
04-21
Action Recognition Action Recognition Action Recognition Action Recognition Action Recognition Action Recognition Action Recognition Action Recognition Action Recognition
1506.02025_Spatial Transformer Networks
08-14
Convolutional Neural Networks define an exceptionally powerful class of models, but are still limited by the lack of ability to be spatially invariant to the input data in a computationally and parameter efficient manner. In this work we introduce a new learnable module, the Spatial Transformer, which explicitly allows the spatial manipulation of data within the network. This differentiable module can be inserted into existing convolutional architectures, giving neural networks the ability to actively spatially transform feature maps, conditional on the feature map itself, without any extra training supervision or modification to the optimisation process. We show that the use of spatial transformers results in models which learn invariance to translation, scale, rotation and more generic warping, resulting in state-of-the-art performance on several benchmarks, and for a number of classes of transformations.
cvpr18-3D Human Pose Estimation in the Wild by Adversarial Learning
07-04
3D human pose estimation from monocular images because of the powerful Deep Convolutional Neural Networks (DC- NNs). Despite their success on large-scale datasets col- lected in the constrained lab ...
论文笔记--3D human pose estimation in video with temporal convolutions and semi-supervised training
Thewindking的博客
04-29 965
  在这项工作中，展示了视频中的3D姿态可以被基于2D关节点的空洞时域的全卷积模型有效的预测，同时引进了反向映射back-projection, 一种可以利用为标记的视频数据的简单而有效的半监督训练方法。
【论文阅读笔记】3D human pose estimation in video with temporal convolutions and semi-supervised training
时光机 °的博客
12-16 3596
论文地址：3D human pose estimation in video with temporal convolutions and semi-supervised training 代码地址：VideoPose3D 论文总结   本文方法名为VideoPose3D，使用2D关键点序列（xi,yix_i, y_ixi​,yi​）预测某个时间点的3D关键点，大致就是使用一段2D序列动作去拟合某个带深度的点。在训练的时候，本文也提出一种简单但有效的半监督方法去利用没有未标注的视频数据。半监督方法，大致就是
文献阅读: 3D human pose estimation in video with temporal convolutions and semi-supervised training
m0_37909240的博客
06-12 1370
Hey，这篇论文“3D human pose estimation in video with temporal convolutions and semi-supervised training”我觉得特别有意思，之前还用它改进了一下，申请了一个软著，今天拿来回顾一下。首先还是翻译一下： 论文名称：基于时间卷积和半监督训练的视频三维人体姿态估计 摘要：在这项工作中，我们证明了基于二维关键点上的扩展时间卷积的全卷积模型可以有效地估计视频中的三维姿态。我们还介绍了反投影，一种利用未标记视频数据的简单有效的
3D human pose estimation in video with temporal convolutions and semi-supervised training
fengye2two的专栏
01-04 5920
一、简介 本文是CVPR2019的文章，预测视频中的三维人体姿态，主要是通过时域上的卷积，将2D人体姿态点提升为3D人体姿态点。该方法具有通用性，可兼容多种2D人体姿态点预测方法，如Mask R-CNN、cascaded pyramid network (CPN) 、AlphaPose、OpenPose等等。 二、效果图 Git地址 https://github.com/facebookres...
matlab怎么下载human pose estimation包
05-04
您可以通过以下步骤在 MATLAB 中下载 Human Pose Estimation 包： 1. 打开 MATLAB 并在命令窗口中输入以下命令： ``` >> addpath(genpath('https://github.com/AliaksandrSiarohin/pose-hg-train')) ``` 这将添加...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值