CVPR 2019 Self-Supervised Learning of 3D Human Pose using Multi-view Geometry 算法研究

最新推荐文章于 2022-06-17 09:45:32 发布
最新推荐文章于 2022-06-17 09:45:32 发布
阅读量1k 收藏 3
点赞数
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38682032/article/details/88880174
版权
该博客详细介绍了CVPR 2019年一篇关于自监督学习3D人体姿态估计的论文。通过多视角几何，即使在没有相机外参的情况下，也能利用两个连续图像对训练网络。首先输入多视角图像，然后通过预训练的ResNet+反卷积网络生成体素热图，并利用soft argmax获得2D和3D姿态。接着，当相机外参可用时，利用照相机参数和RANSAC算法进行三维重建；若不可用，则通过基本矩阵和本质矩阵求解。最后，通过平滑L1损失进行优化和细化单元(RU)的微调。
摘要由CSDN通过智能技术生成

在这里插入图片描述

step 1 input

n n n个相机（ n ≥ 2 n≥2 n≥2）,同时对场景中的人拍照，连续相机的baseline较小

https://blog.csdn.net/zhang11wu4/article/details/41827073

产生 I 1 , I 2 , . . . I n I_1,I_2,...I_n I1​,I2​,...In​张图片,相邻的图像两两产生图像对，就是训练集

t r a i n i n g _ d a t a ： { ( I i , I i + 1 ) ∣ i = 1 , 2 , . . . , n − 1 } training\_data：\{(I_i,I_i+1)|i=1,2,...,n-1\} training_data：{ (Ii​,Ii​+1)∣i=1,2,...,n−1}
(文中以n=2举例说明训练流程）

step 2

上下分支都有同样的 pose,estimator 网络，ResNet + 反卷积，在MPII 训练集上预训练。
p o s e   e s t i m a t o r 网 络 pose\,estimator 网络 poseestimator网络

在这里插入图片描述

生成体素热图：

H ^ , H ∈ R w × h × d ( × j × i ) \hat{H},H\in\mathbb R^{w\times h \times d(\times j \times i)} H^,H∈Rw×h×d(×j×i)

  • w , h w,h w,h ：spatial size after deconvolution
  • d d d: depth resolution define as a hyper parameter

使用soft argmax函数。

https://blog.csdn.net/qq_38682032/article/details/88607568

s o f t   a r g m a x : φ ( ⋅ ) soft\,argmax:\varphi(\cdot) softargmax:φ(⋅)
得到 3D pose （上分支）和2D pose（下分支）
3 D   p o s e :

最低0.47元/天 解锁文章
DZzz丶
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
极简笔记 Multi-task Self-Supervised Visual Learning
Hibercraft的博客
04-30 4120
极简笔记 Multi-task Self-Supervised Visual Learning 论文地址: https://arxiv.org/abs/1708.07860 文章核心是利用自监督的任务对模型进行pretrain，再将得到的模型迁移到相关任务进行finetuning（这时候对不更新骨架网络参数，来进行对比，只学习不同任务的head），期望得到的性能接近带有额外label的pret...
【阅读笔记】Geometry-Driven Self-Supervised Method for 3D Human Pose Estimation， AAAI 2020
shuijiaobuzhundahulu的博客
08-10 347
摘要：传统的弱监督/自监督方法需要非成对三维信息，而本文的自监督方法仅以来人体的几何结构信息，不需要手工标注数据。 代码地址： 一、介绍：基于NN的直接回归方法非常容易产生过拟合。由于深度歧义性问题，重投影损失无法产生精确的姿态，即在另一个视角下该3D pose是错误的。多视角2D pose输入会积累噪声，得到的3D pose也不准确。 贡献点： 提出一个自监督框架。 设计了一个转换重投影损失，利用多视角适配信息；通过不同相机下的2D 关节点置信度来缓解自遮挡问题。 在两个数据集上表现好。.
【2019-CVPR-3D人体姿态估计】Self-Supervised Learning of 3D Human Pose using Multi-view Geometry
大家一起进步叭
04-20 2811
Self-Supervised Learning of 3D Human Pose using Multi-view Geometry 题目：《基于多视图几何学对三维人体姿态的自监督学习》 作者： 来源：CVPR 2019 研究内容: 训练过程：多视图-单人-自监督 推理过程：单视图 现有问题与技术： 1.现有问题 精确的3D HPE需要大量精确的3D GT数据）（对尺寸、多样性受限）、2D GT数据、标签和相机参数，但是获得这些相机参数 ...
论文笔记--Self-Supervised Learning of 3D Human Pose using Multi-view Geometry（利用多视角几何学对三维人类姿势进行自我监督学习）
Thewindking的博客
04-27 823
训练准确的三维人体姿态估计器需要大量的三维真实数据，而这些数据的收集成本很高。由于缺乏3D数据，各种弱监督或自监督的姿势估计方法已经被提出。然而，这些方法，除了二维真实姿势外，还需要各种形式的额外监督（例如，未配对的三维真实数据，一个小的标签子集）或多视图设置中的相机参数。为了解决这些问题，我们提出了EpipolarPose，一种用于三维人体姿势估计的自我监督学习方法，它不需要任何三维地面真实数据或相机外因。在训练过程中，EpipolarPose从多视角图像中估计出二维姿势，然后，利用epipolar几何学
[CVPR 2019论文阅读笔记]Self-Supervised Learning of 3D Human Pose using Multi-view Geometry
keep_early的博客
07-17 2462
失踪博主前来打卡啦
Self-Supervised_Learning_Papers-Code:自我监督学习论文
04-04
（）（ CVPR 2021 ）（）（） 超越眼界的是：通过提取多模态知识进行自我监督的多目标检测和声音跟踪。（）（ CVPR 2021 ） AdCo：有效地从自我训练的负面对手中学习无监督表示的对抗性对比。（）（ CVPR 2021 ）...
Awesome-Self-Supervised-Papers:自我监督学习纸银行
03-20
CVPR 2006 -- arXiv：1807.03748 -- arXiv：1911.05722 60.6％ arXiv：1905.09272 63.8％ arXiv：1906.05849 66.2％ arXiv：2002.05709 69.3％ arXiv：2003.12338 71.1％ arXiv：2003.05438 65.9％ ...
Self-supervised-Monocular-Trained-Depth-Estimation-using-Self-attention-and-Discrete-Disparity-Volum:CVPR 2020论文的复制品-使用自我注意和离散视差量的自我监督单眼训练深度估计
05-04
该项目是CVPR 2020论文的复制品 使用自我注意和离散视差量的自我监督单眼训练深度估计 阿德里安·约翰斯顿，古斯塔沃·卡内罗 它建议通过完全监督的方法来弥补性能差距，该方法仅使用单眼序列进行训练，并借助附加...
cvpr18-3D Human Pose Estimation in the Wild by Adversarial Learning
07-04
3D human pose estimation from monocular images because of the powerful Deep Convolutional Neural Networks (DC- NNs). Despite their success on large-scale datasets col- lected in the constrained lab ...
3D Packing for Self-Supervised Monocular Depth Estimation.pdf
10-19
在计算机视觉领域，3D Packing for Self-Supervised Monocular Depth Estimation是CVPR（Computer Vision and Pattern Recognition）会议上的一篇重要论文。该研究聚焦于无监督的单目深度估计，旨在解决机器人平台...
2019 CVPR_ICCV_CSCV_ 3D Human Pose Estimation PAPER
10-06
文档总结了2019年 所有顶会 的 3D Human Pose Estimation 论文
Self-Supervised Scene De-occlusion（2020CVPR 港中文）论文解读
Turbo_Come的博客
07-08 784
Self-Supervised Scene De-occlusion（2020CVPR 港中文） 1.要解决的问题： Natural scene understanding 是一个具有挑战的任务，特别是当多个物体因前后顺序位置而产生遮挡时。有些时候需要去分析每个独立的物体，恢复其被遮掩的部分。 在instance segmentation 的数据集中，像 COCO、KITTI、LVIS 这些。里面并没有遮挡关系和 amodal mask 的标注，所以有监督学习的思路是无法解决上述问题的。 ...
2018-CVPR-Self-Supervised Learning for Stereo Matching with Self-Improving Ability阅读笔记
SiKongPop的博客
08-22 369
SsSMnet,designed byYiran Zhong, Yuchao Dai, and Hongdong Li,could be seperated into five part. Frist part is feature extraction.The structure of it is genenarl CNN,despite of
【论文笔记——自监督学习综述】Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey
Lethe's Blog
10-11 6921
【论文笔记——自监督学习综述】Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey Abstract Large-scale labeled data are generally required to train deep neural networks in order to obtain better performance in visual feature learning from images
【2020-CVPR-3D人体姿态估计】Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis
大家一起进步叭
04-05 1800
Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis 题目：《通过部分指定新型图像合成进行自监督的3D人体姿态估计》 作者：Jogendra Nath Kundu， Siddharth Seth1， arun Jampani2 Mugalodi Rakesh1 R. V enkatesh Babu1 Anirban Chakraborty Indian Institute of Science, B
Self-Supervised Learning of 3D Human Pose using Multi-view Geometry
qq_37003230的博客
10-07 285
Self-supervised Monocular Trained Depth Estimation usingSelf-attention and Discrete Disparity Volume自监督深度估计，利用自注意力机制，离散分类网络视差图估计估计深度，并且能够产生不确定性 本文： 背景 训练三维人体姿态估计需要三维真实数据，而收集成本很高。 许多姿势估计方法缺乏三维数据，除了二维的真实姿势，需要额外的监督，例如未匹配的三维真实数据，标签的小子集，相机参数在多视角的环境下 提出：Epip
3D human pose 重要论文分类（持续更新）
b_lack的博客
04-06 4556
3D human pose 重要论文整理（持续更新） 传统方法 *[1] Chunyu Wang,Yizhou Wang,Zhouchen Lin,Alan L. Yuille,Wen Gao. Robust Estimation of 3D Human Poses from a Single Image. In the Center for Brains, Minds and Machines(...
姿态估计之3D 人体姿态估计 - A curated list of related resources for 3d human reconstruction.【转】
light169的专栏
06-17 3459
转自【GitHub - Hi-MrChen/3d-human-reconstruction】A curated list of related resources for 3d human reconstruction
CVPR 2019 Self-Supervised Learning of 3D Human Pose using Multi-view Geometry 论文阅读
道长的博客
03-23 3482
Abstract 训练精确的3D人体姿势估计器需要大量的3D真值数据，这些数据的收集成本很高。由于缺乏3D数据，已经提出了各种弱或自监督的姿势估计方法。然而，除了2D真值姿态数据之外，这些方法还需要各种形式的附加监督（例如，不成对的3D真值数据，部分标签数据）或多视图设置中的相机参数。 为了解决这些问题，我们提出了EpipolarPose，一种用于3D人体姿态估计的自我监督（Self-Superv...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值