AMASS数据集paper粗读

已于 2023-04-11 02:15:31 修改
阅读量2.1k 收藏 6
点赞数 2
文章标签： 人工智能 机器学习 深度学习
于 2023-04-11 02:14:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36018024/article/details/130072861
版权

AMASS数据集paper粗读


在这里插入图片描述

建立数据集的目的

  1. 研发基于标准运动捕捉系统(mocap)恢复人的shape和pose的方法，即一套由动捕设备的稀疏点还原3D人体的方法；
  2. 为相关领域（人体动作的计算机视觉和动画制作）提供一个最大的机器学习数据集；
    简而言之，建立一个3D人体的行业标准；

面临问题

mocap的数据集很多，但是各家有各家的数据格式，没法统一使用，团队扩展了MoSh方法，使其可以适配更多的mocap数据集；

MoSh的逻辑

通过稀疏的动捕关键点(marker)恢复稠密的人体模型，其是通过大量的关键点和3D扫描的数据集训练出来的；

MoSh++与前作的区别

模型格式

MoSh输出的人体模型是SCAPE格式表示的，和最新的工业学术界不接轨，MoSh++改用SMPL格式表示；
人体模型以UV map格式给出；

软质衣物

有部分数据来穿了软质衣物的人体，MoSh++使用SMPL的一个衍生模型DMPL；

手部动作

MoSh++增加了手部的建模，使用了与SMPL兼容的MANO手部模型；

finetune

采集了一个marker和同步扫描人体的数据集((Synchronized Scans and Markers，SSM)，加强训练；

SMPL的参数量

MoSh用了16个shape参数，MoSh++用了100个shape参数，所以效果更好；

数据集构成

采集场景

  1. 包含了15个已有mocap数据集，时长40小时，包含344个subjects和11265个动作；
  2. 采集自37-91个markers不等，并统一了格式；

数据格式

MoSh时期每一帧包含：

  1. 16个SMPL shape参数，β；
  2. 8个DMPL相关系数，Φ；
  3. 159个SMPL pose参数，θ；
    文章中有时统称为SMPL模型，其实不是严格的SMPL，应该是SMPL官方称为SMPLH的版本加上AMASS团队自己提出的衣物blendshape方法(DMPL)；

SMPL+DMPL

在这里插入图片描述

DMPL和SMPL原理一致，比其多一个贴身衣物的Blendshape；
在这里插入图片描述
输入输出的维度；

MoSh和MoSh++的训练

[不是暂时的关注点，或许后续更新]

效果

MoSh++总体建模效果

在这里插入图片描述

针对衣物的效果

MoSh
MoSh++
ground truth
在这里插入图片描述
这个身材太棒了，我严重怀疑AMASS团队物化女性，哈哈

针对手部的效果

在这里插入图片描述

MatthewIsBig
关注
人体三维重建【文章汇总】Humans
zik的博客
07-03 2163
PA-MPJPE则是在计算误差之前，首先对预测的姿态进行了最佳比例的刚体变换（包括旋转、平移和缩放），这一过程通常通过Procrustes分析实现，目的是为了消除全局旋转和平移的影响，以及可能的比例差异，从而更加专注于评估姿态结构本身的准确性。PCK指标计算的是被正确检测出的关键点数量占总关键点数量的百分比，这里的“正确检测”指的是预测的关键点位置与真实位置之间的距离小于或等于一个给定的误差阈值（通常以关节或者像素为单位）。：对每个关节的位置序列进行一阶微分，得到各个关节的速度随时间的变化情况。
【ai】PHC 论文及网站翻译
突围
06-05 319
Related Works
Motion Capture 动作捕捉视频数据数据集
07-01
Motion Capture 是一个动作捕捉视频数据，可用以捕捉人类动作。
人体姿态估计WHAM与手势估计HaMeR：人形机器人重定向的关键技术(含AMASS和SMPL-X的详解)
结构之法 算法之道
06-22 5788
根据arXiv的记录，此篇论文的提交记录为[Submitted on 12 Dec 2023 (v1), last revised 18 Apr 2024 (this version, v2)]如下图所示，WHAM的输入是由可能具有未知运动的相机捕获的原始视频数据，接下来的目标是预测对应的SMPL模型参数序列，以及在世界坐标系中表达的根方向和平移，具体做法是。
基于稀疏动捕捉标记点的三维参数化人体重建-mosh
rlczddl的博客
02-11 960
所谓动捕标记点，也就是光学标记点，在相机拍摄下具有明显的反光特性，易于从图像中获取其位置，进而通过深度恢复的方法获取其三维坐标。此外，笔者之前已发过的很多基于参数化人体的重建文章，均归类为三维人体重建，其实更细分点，归类为三维人体体型+动作捕捉更合适。图1.所采用的标记点包含标准的47个黄色表示的Vicon标记点，外加20个橙色标记点，共67个标记点（注：白色点是论文中证明冗余的标记点）图2.默认标记点、潜在标记点和模拟标记点示意参数化人体SβθγSβθγβ\betaβθ。
AMASS database
子燕若水的博客
08-06 3776
AMASS是一个由不同的光学标记运动捕捉数据集统一表示在一个公共框架和参数化下的大型人体运动数据库¹。它使用了SMPL²人体模型，它是一种基于混合形状和姿态空间的生成式人体模型，可以用少量的参数来描述人体的形状和姿态²。AMASS使用了一种新的方法MoSh++⁴，它可以将运动捕捉数据转换为由刚性身体模型表示的逼真的3D人体网格⁴。AMASS数据集是经过严格筛选和质量控制的，它提供了人体运动的丰富和多样的样本，可以用于训练和评估人体姿态和形状估计的方法。
Amass使用方法
热门推荐
include_heqile的博客
04-19 1万+
简介 Amss官网地址 github地址 不管你是安全研究人员还是运维人员，你都有将本组织的外部攻击面映射出来的需求。这个映射其实说白了就是信息搜集和侦察。 OWASP的Amass项目可以在很大程度上帮助您的组织完成这项工作，这具体取决于您的需求。这篇文章中我们将会着重讲解如何使用Amass去搜集一个组织的外部资产。 我们着重讲解子域名发现技术。我们将这篇文章分成了几部分...
SMPL STAR人体模型系列
billbliss的专栏
08-24 3914
SCAPE: 人体模型 SMPL: 人体模型 SMPL-H: 人体+手 SMPL-X: 人体+手+人脸（FLAME） STAR: SMPL的改进版 人体模型主要思想是将pose, shape解耦，用参数化的方式描述人体表面的信息。 SCAPE：基于三角面片deformable的人体模型。 SMPL：基于点云deformable的人体模型。 SMPL使用点云deformable的方式更适合skining blending，模型在目前的Maya, Blender, Unreal E.
人体姿态估计综述 2020最全
qq_45116161的博客
03-10 1万+
Deep Learning-Based Human Pose Estimation:A Survey 摘要 ​ 应用：人机交互、运动分析、增强现实和虚拟现实等领域。 ​ 现状：最近发展的基于深度学习的方法在人体姿态估计中取得了较高的性能，但由于训练数据不足、深度模糊等问题，仍然存在挑战。 ​ 目的：通过对基于深度学习的二维和三维位姿估计方法进行系统的分析和比较，根据它们的输入数据和推理过程，对目前基于深度学习的二维和三维位姿估计方法进行全面的综述。 引言 ​ 在HPE任务中使用深度学习技术已经取得了显著的进
探索人体动作的奥秘：MoSh++深度解析与应用推荐
gitblog_00019的博客
06-09 543
探索人体动作的奥秘：MoSh++深度解析与应用推荐 去发现同类优质开源项目:https://gitcode.com/ 在三维动画和运动捕捉的世界中，精确地将人类动作转换为数字化模型是技术的高点。今天，我们带您深入了解一款前沿工具——MoSh++，它不仅是技术的突破，更是连接现实动作与虚拟世界的桥梁。 项目介绍 MoSh++，作为AMASS（Archive of Motion Capture as ...
11.14-11.21
weixin_50862344的博客
11-25 957
11.14-11.21
SCAPE、BlendSCAPE、SMPL、SMPL-H、SMPL-X、STAR等都是什么？请分别仔细介绍一下
weixin_42576410的博客
12-17 1206
SCAPE、BlendSCAPE、SMPL、SMPL-H、SMPL-X、STAR都是人体模型的名称。 SCAPE是一种非常流行的3D人体模型，由麻省理工学院的高维媒体实验室开发。SCAPE模型使用一组可变的参数来捕捉人体的形态和姿势变化。 BlendSCAPE是一种在SCAPE模型的基础上进行改进的模型，它在SCAPE模型的基础上增加了更多的参数，使得模型更加逼真。 SMPL是一种用于模拟人体形态...
AMASS 动捕数据
07-28
- *3* [AMASS数据集paper粗读](https://blog.csdn.net/qq_36018024/article/details/130072861)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_...
CVPR2023 | 新方法EgoEgo无需配对视频即可预测3D人体运动
3D视觉工坊
10-07 302
作者：PCIPG-XK | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf、代码、视频链接。添加微信：dddvisiona，备注：姿态估计，拉你入群。文末附行业细分群。从以自我为中心的视频序列中预测 3D 人体运动在人类行为理解中发挥着至关重要的作用，并且在 VR/AR 中具有多种应用。然而，天真地学习以自我为中心的视频和人体动作之间的映射是具有挑战性的，因为放置...
【CVPR 2024】GART: Gaussian Articulated Template Models
zik的博客
07-09 1250
【Paper】【Project】GART 利用移动的 3D 高斯混合模型来显式地近似可变形主体的几何形状和外观。它利用了具有可学习前向蒙皮的分类模板模型先验（如 SMPL、SMAL 等），同时通过引入新的潜在骨骼进一步推广到更复杂的非刚性变形。我们介绍了高斯关节模板模型（GART），这是一种显式、高效且富有表现力的表示方法，用于从单目视频中捕捉和渲染非刚性关节主体。GART 利用移动的 3D 高斯混合模型来显式地近似可变形主体的几何形状和外观。
无需3D运动数据训练，最新人体姿势估计方法达到SOTA | CVPR 2020
AI科技大本营
03-09 6280
作者 |Muhammed Kocabas译者 | 刘畅出品 | AI科技大本营（ID:rgznai100）人体的运动对于理解人的行为是非常重要的。尽管目前已经在单图像3D姿势和动作估计...
【论文翻译】VIBE 基于视频的人体3D形状和姿态估计
屿十_
08-20 3708
人体运动是理解行为的基础。 尽管在单幅图像的三维姿态和形状估计方面取得了进展，但现有的基于视频的方法由于缺乏用于训练的地面真实三维运动数据而无法产生准确和自然的运动序列。 为了解决这个问题，我们提出了“用于身体姿势和形状估计的视频推理”(VIBE)，它利用了现有的大规模运动捕获数据集(AMASS)和未配对的、野外的2D关键点注释。 我们的主要创新是一个对抗性的学习框架，它利用聚集来区分真实的人体动作和由我们的时间姿势和形状回归网络产生的动作。 我们定义了一种新的具有自我注意机制的时态网络体系结构
2D与3D人体姿态估计数据集（统计）
m0_50811752的博客
05-02 5450
相关数据集的快速发展促进了基于深度学习的姿态估计方法的发展。公共数据集为不同的方法提供了培训来源和公平的比较。考虑到数据集的规模和姿势和场景的多样性，在本文中，主要介绍了近年来的代表性数据集。它们中大多数都是高质量和大规模的数据集，在不同的拍摄场景中都有良好的注释。 图像级2D单人数据集（待补充） 图像级2D多人数据集（待补充） 视频级2D单人数据集（待补充） 3D单人数据集 Human3.6M Human3.6M是使用最广泛的多视图单人三维人体姿态基准。该数据集使用4个RGB摄像机、1个飞行时间传感器和1
amass使用方法
最新发布
03-30
### Amass 的使用方法 Amass 是一款由 OWASP 支持的强大工具，专门用于执行资产发现和网络映射任务。其可靠性和准确性得到了广泛认可，并且由于项目的长期维护和支持特性，使其成为许多专业人士的选择[^3]。 以下是关于如何使用 Amass 进行资产扫描的具体说明： #### 安装 Amass 要开始使用 Amass，首先需要将其安装到本地环境中。可以通过以下命令完成安装过程（以 Go 环境为例）： ```bash go install github.com/OWASP/Amass/v3/...@master ``` 如果未安装 Go 编译器，则可以选择下载预编译二进制文件并手动解压至系统路径中。 #### 基本语法与功能介绍 Amass 提供多种子命令来满足不同场景下的需求。最常用的几个选项如下所示： 1. **枚举子域名** 枚举目标域的所有潜在子域是一项基础操作。运行下面这条命令即可实现这一目的： ```bash amass enum -d example.com ``` 此处 `-d` 参数指定待查询的目标域名 `example.com`。该指令会尝试查找与其关联的一切公开可访问的子域名称列表。 2. **配置输入文件** 当面对多个目标时，可以借助配置文件简化流程。创建一个纯文本文档并将各条目逐行列出保存为如 `targets.txt` 文件形式；随后调用参数读取其中的内容作为批量处理依据： ```bash amass enum -df targets.txt ``` 3. **导出结果** 默认情况下，Amass 将输出打印于终端屏幕上。然而，在实际应用过程中往往还需要进一步分析整理所得资料。为此提供了一个方便实用的功能——将最终产物存储成易于解析的形式比如 JSON 或者 CSV 类型的数据集： ```bash amass enum -json output.json -d example.com ``` 4. **自定义字典扩展范围** 如果觉得默认内置词库无法完全覆盖特定行业内的专有名词缩写等情况的话，那么完全可以引入额外定制化版本替代原有设置从而提升命中概率水平。只需准备一份新的单词表存放在合适位置之后再附加相应标志位告知程序加载新资源即可生效： ```bash amass enum -brute -w wordlist.txt -d example.com ``` 5. **集成被动 DNS 数据源** 利用第三方服务增强探测能力也是可行的办法之一。例如启用 VirusTotal API 接口获取更多线索信息等动作均能显著提高工作效率质量标准等方面表现优异程度方面有所体现出来效果更加明显一些时候甚至能够达到事半功倍的效果呢！只需要简单修改几项配置细节就能轻松搞定啦~试试看吧😊 需要注意的是某些高级特性可能涉及到收费订阅计划等问题所以务必提前查阅官方文档确认清楚后再做决定哦！ --- ### 示例脚本 为了便于理解整个工作流的实际运作方式，这里给出一段完整的 Python 脚本来演示自动化调用 Amass 并提取关键字段的过程： ```python import subprocess import json def run_amass(domain): result = subprocess.run(['amass', 'enum', '-json', '-', '-d', domain], stdout=subprocess.PIPE, text=True) records = [] for line in result.stdout.splitlines(): record = json.loads(line.strip()) if not any(r['name'] == record['name'] and r['address'] == record.get('address') for r in records): records.append({ 'domain': record['name'], 'ip': record.get('address') }) return records if __name__ == "__main__": domains_to_scan = ["testsite1.local", "testsite2.internal"] all_records = [] for d in domains_to_scan: results = run_amass(d) all_records.extend(results) print(json.dumps(all_records, indent=2)) ``` 上述代码片段展示了如何通过编程接口捕获 Amass 输出并转换为结构化的 JSON 数组格式以便后续加工利用。 ---
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值