Self-Supervised Learning of 3D Human Pose using Multi-view Geometry

最新推荐文章于 2022-06-17 13:57:30 发布
最新推荐文章于 2022-06-17 13:57:30 发布
阅读量290 收藏
点赞数
文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37003230/article/details/120633379
版权
  • Self-supervised Monocular Trained Depth Estimation usingSelf-attention and Discrete Disparity Volume自监督深度估计，利用自注意力机制，离散分类网络视差图估计估计深度，并且能够产生不确定性

本文：

背景

训练三维人体姿态估计需要三维真实数据，而收集成本很高。

许多姿势估计方法缺乏三维数据，除了二维的真实姿势，需要额外的监督，例如未匹配的三维真实数据，标签的小子集，相机参数在多视角的环境下

提出：EpipolarPose，从单张图片预测3D人体姿态，训练时不需要3D监督

上极几何学获得三维姿势和摄像机几何学

标准数据集Huamn3.6M， MPI-INF-3D上证明

提出了新的性能指标-姿势结构得分PSS：尺度不变、结构感知的措施来评估姿势的结构合理性和ground-truth

人在野外的姿势估计

创新点

使用二维姿势估算，表极几何来获得三维姿势，用来训练三维姿势估计器

人体姿势需要高级的推理，姿势的结构误差，比传统的评估指标定位误差更重要。eg MPJPE每个关节位置平均误差，PCK正确关键点百分比。传统指标只能独立处理每个关节，而不是整个姿势结构评估

PSS姿势结构得分：

计算方式

ground truth 姿势的自然分布进行建模，无监督的聚类方式

p：图像预测姿势，q真实姿势

找到与p q最接近的聚类中心，分配到同一个聚类中心，PSS为1，否则为0

EpipolarPose 不需要任何三维监督或者相机外因的方法

相关工作

EP在推理过程中单视角，训练时多视角、自监督

单视角：

【19】深度回归网络和身体部位检测 进行了从单图像中获得合理准确性的姿势估计

【38】监督学习和自动编码器用于结构学习

【29】三维人体姿势估计视为 3D关节点定位问题

【36】积分姿态回归和 soft argmax相结合

多视角方法：

缺乏3D注释，探索弱监督和自监督的人体姿势估计方法。

【31】多视图一致性来约束去监督网络

【9】【41】深度逆向网络引入

方法实现

 n大于等于2的相机同时拍摄，连续的图像对

相同的姿势估计网络上进行，网络在MPII上预训练

只有上层分支的网络被训练（3D姿势），另一个保持被冻结

获得体积热图H，wxhxd，w，h为去卷积后的空间大小，d为超参的深度分辨率

U被认为是2D ground truth，通过

IntergralPose为代码框架，ResNet-50为backbone

input图像 256x256

输出heatmap: Jx64x64x64 J为关键点数量

总结和思考

GT表示使用H36M中的2D标签，wo/R表示不用旋转矩阵R

2D GT训练上和MPII预训练差异很大，2D关键点估计质量很重要

fwyynl
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CVPR 2019 Self-Supervised Learning of 3D Human Pose using Multi-view Geometry 算法研究
道长的博客
03-30 1094
nnn个相机（n≥2n≥2n≥2）,同时对场景中的人拍照，连续相机的baseline较小 此文有介绍，应该就是距离比较近的意思 https://blog.csdn.net/zhang11wu4/article/details/41827073 产生 I1,I2,...InI_1,I_2,...I_nI1​,I2​,...In​张图片,相邻的图像两两产生图像对，就是训练集 training_d...
CVPR 2019 Self-Supervised Learning of 3D Human Pose using Multi-view Geometry 论文阅读
道长的博客
03-23 3491
Abstract 训练精确的3D人体姿势估计器需要大量的3D真值数据，这些数据的收集成本很高。由于缺乏3D数据，已经提出了各种弱或自监督的姿势估计方法。然而，除了2D真值姿态数据之外，这些方法还需要各种形式的附加监督（例如，不成对的3D真值数据，部分标签数据）或多视图设置中的相机参数。 为了解决这些问题，我们提出了EpipolarPose，一种用于3D人体姿态估计的自我监督（Self-Superv...
Self-supervised-Monocular-Trained-Depth-Estimation-using-Self-attention-and-Discrete-Disparity-Volum:CVPR 2020论文的复制品-使用自我注意和离散视差量的自我监督单眼训练深度估计
05-04
使用自我注意和离散视差量的自我监督单眼训练深度估计-ML重现性挑战2020 该项目是CVPR 2020论文的复制品 使用自我注意和离散视差量的自我监督单眼训练深度估计 阿德里安·约翰斯顿，古斯塔沃·卡内罗 它建议通过完全监督的方法来弥补性能差距，该方法仅使用单眼序列进行训练，并借助附加层-自注意力和离散视差量。 设定程序 从克隆项目。 转到目录使用自我注意和离散视差量的自我监督单眼训练深度估计。 安装套件为了重现代码，请通过运行以下命令来安装软件包。 pip install -r requirements.txt 该项目使用Python 3.6.6，cuda 10.1，pytorch 0.4.1，torchvision 0.2.1，tensorboardX 1.4和opencv。 实验是使用NVIDIA Tesla P100 GPU和CPU环境-Intel Xeon E5-2
[单目深度估计---学习记录四]MonoDepth2进阶版阅读一
weixin_51179742的博客
06-17 1304
Self-supervised Monocular Trained Depth Estimation using Self-attention and Discrete Disparity Volume -基于自我注意和离散视差量的自监督单目训练深度估计
论文笔记--Self-Supervised Learning of 3D Human Pose using Multi-view Geometry（利用多视角几何学对三维人类姿势进行自我监督学习）
Thewindking的博客
04-27 833
训练准确的三维人体姿态估计器需要大量的三维真实数据，而这些数据的收集成本很高。由于缺乏3D数据，各种弱监督或自监督的姿势估计方法已经被提出。然而，这些方法，除了二维真实姿势外，还需要各种形式的额外监督（例如，未配对的三维真实数据，一个小的标签子集）或多视图设置中的相机参数。为了解决这些问题，我们提出了EpipolarPose，一种用于三维人体姿势估计的自我监督学习方法，它不需要任何三维地面真实数据或相机外因。在训练过程中，EpipolarPose从多视角图像中估计出二维姿势，然后，利用epipolar几何学
【2019-CVPR-3D人体姿态估计】Self-Supervised Learning of 3D Human Pose using Multi-view Geometry
大家一起进步叭
04-20 2820
Self-Supervised Learning of 3D Human Pose using Multi-view Geometry 题目：《基于多视图几何学对三维人体姿态的自监督学习》 作者： 来源：CVPR 2019 研究内容: 训练过程：多视图-单人-自监督 推理过程：单视图 现有问题与技术： 1.现有问题 精确的3D HPE需要大量精确的3D GT数据）（对尺寸、多样性受限）、2D GT数据、标签和相机参数，但是获得这些相机参数 ...
2020CVPR深度估计
热门推荐
colorsky100的博客
06-19 1万+
论文收集方法 检索了所有带depth的标题的论文，争取没有遗漏的筛选深度估计相关论文 下面进行分类 单纯有监督深度估计 uncertainty aware cnns for depth completion: uncertainty from beginning to end 有监督深度估计，给出了不确定性度量 generating and exploiting probabilistic monocular depth estimation 通用的有监督深度估计 structure-guided ran
Self-labeled-techniques-for-semi-supervised-learning
05-15
标签中提到的"self-labeled"指的是自标记的过程，"semi-supervised-learning"表示半监督学习的场景，"tri-training"则是三重训练算法，"self-training"则对应自我训练方法。 项目报告可能涵盖了以下内容： 1. **...
EEG and Self-supervised Learning
03-22
标题 "EEG and Self-supervised Learning" 涉及到的是使用深度学习技术对脑电图（EEG）数据进行分析的研究领域。EEG是一种记录大脑电活动的技术，广泛应用于神经科学、医学诊断和生物信号处理。自我监督学习是机器...
Self-supervised learning methods and applications in medical im
09-25
自我监督学习方法与医疗成像分析的应用：一项调查 在医疗成像分析领域，高质量注释的医学图像数据集的可用性是一个重大问题，它阻碍了机器学习应用的发展。自我监督学习是一种新兴的训练范式，它允许在无需人类注释...
monocular_depth_estimation:纽约大学数据集上的单眼深度估计
04-02
纽约大学数据集上的单眼深度估计 该项目演示了一种单眼深度估计网络的开发，该网络是改编。
Python-使用多视图几何自我监督学习3D人体姿势
08-11
使用多视图几何自我监督学习3D人体姿势 (accepted to CVPR2019)
Self-supervised Graph Learning for Recommendation
12-20
在推荐系统领域，自监督学习（self-supervised learning）已经成为一种新兴的研究焦点，尤其是在结合图学习（graph learning）的情况下。自监督学习的核心思想是利用数据自身的信息来构建监督信号，而不是依赖于人工...
Pareto Self-Supervised Training for Few-Shot Learning.pdf
11-17
为了解决这个问题，自监督学习（Self-Supervised Learning, SSL）引入了一种新的思路，它通过利用未标记数据来构建监督信号，无需大量人工标注。 小样本辅助学习（Few-shot Auxiliary Learning）是结合FSL和SSL优势...
Disparity&Cost Volume in Stereo
OrdinaryMatthew的博客
11-02 456
本人在阅读 Stereo 相关论文的时候，碰到了一个关键词 disparity。根据论文上下文推断出来它是和 depth 密切相关的，具体是什么在网上没能找到。后来在学习 浙江大学 谭平老师的计算机视觉课程的时候，谭老师讲清楚了这个概念和一些相关 key points，特此记录。 本文把 disparity 的概念放到 Stereo 的一个流程上讲，所以会有一些和 disparity 无关的内容，但是其他内容有助于理解 disparity。本文需要 epipolar line 相关知识，默认读者已经掌握，如
[CVPR 2019论文阅读笔记]Self-Supervised Learning of 3D Human Pose using Multi-view Geometry
keep_early的博客
07-17 2468
失踪博主前来打卡啦
Deep High-Resolution Representation Learning for Human Pose Estimation (CVPR2019)
2Dposeliu的博客
02-28 2410
来自微软和中国科技大学研究学者的论文《Deep High-Resolution Representation Learning for Human Pose Estimation》和相应代码已经公布。 该文为第一作者Ke Sun在微软亚洲研究院实习期间发明的算法。 作者观察到，现有姿态估计算法中往往网络会有先降低分辨率再恢复高分辨率的过程，比如下面的几种典型网络。 (a) Hourglass (...
Weakly-Supervised Discovery of Geometry-Aware Representation for 3D Human Pose Estimation CVPR 2019
道长的博客
04-03 1270
gold: learn a geometry-aware 3D representation G\mathcal{G}G for the human pose discover the geometry relation between paired images (Iti,Itj)( I^i_t,I^j_t)(Iti​,Itj​) which are acquired from synchro...
Self-supervised Learning of Motion Capture阅读笔记
qq_40045309的博客
05-04 1639
备注： 1.作者 Hsiao-Yu Fish Tung，Katerina Fragkiadaki 卡耐基梅隆大学 一、概述 1. abstract （1） 跟直接优化mesh and skeleton 的参数不一样的是，我们通过优化网络的权重来预测一个 monocular RGB video中的3D shape and skeleton 的配置； （2） 模型采用end-to-end ...
self-supervised learning
最新发布
09-21
自我监督学习是一种机器学习方法，通过对数据进行合理的预测任务，从中获得有用的表示。与传统的监督学习不同，自我监督学习不需要人工标注的标签来指导训练，而是利用数据自身的信息进行训练。 自我监督学习的基本思想是从未标记的数据中构造有意义的标签，然后将这些标签用作训练数据，以学习有用的特征表示。通过对输入数据进行某种形式的变换或遮挡，可以生成一对相关的样本。其中一个样本称为正样本，另一个则被视为负样本。例如，在图像领域中，可以通过将图像进行旋转、裁剪或遮挡等变换来生成正负样本对。模型的目标是通过学习从一个样本到另一个样本的映射，从而使得正样本对之间的相似度更高，负样本对之间的相似度更低。 自我监督学习在许多任务中都取得了很好的效果。例如，在自然语言处理任务中，可以通过遮挡句子中的某些单词或短语来生成正负样本对，然后通过学习从一个句子到另一个句子的映射来进行训练。在计算机视觉任务中，可以通过图像的旋转、裁剪、遮挡或色彩变换等方式来生成正负样本对。 自我监督学习的优点是不需要人工标注的标签，可以利用大量的未标记数据来进行训练，从而扩大训练数据的规模。此外，自我监督学习还可以通过学习到的特征表示来提高其他任务的性能，如分类、目标检测和语义分割等。 总之，自我监督学习是一种有效的无监督学习方法，通过构造有意义的预测任务，从未标记的数据中学习有用的特征表示。它在各种任务中都有广泛的应用，并具有很高的潜力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值