论文阅读笔记PifPaf: Composite Fields for Human Pose Estimation

最新推荐文章于 2021-09-24 14:36:23 发布
最新推荐文章于 2021-09-24 14:36:23 发布
阅读量330 收藏
点赞数
分类专栏： 姿态检测论文 文章标签： 姿态估计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LLY_A_/article/details/119888798
版权

一、主要贡献

        解决了给定单个输入图像的完善的多人 2D 人体姿态估计问题。 我们专门解决了自主导航设置中出现的挑战，如图 1 所示：(i) 宽视角，人类分辨率有限，即 30-90 像素的高度，以及 (ii) 行人相互遮挡的高密度人群 . 当然，我们的目标是高召回率和准确率。

Figure 1: - We want to estimate human 2D poses in the transportation domain where autonomous navigation systems operate in crowded scenes. Humans occupy small portion of the images and could partially occlude each other. We show the output of our PifPaf method with colored segments.

二、思想概述

        新方法 PifPaf 使用Part Intensity Field (PIF) 来定位身体部位，使用Part Association Field (PAF) 将身体部位相互关联以形成完整的人体姿势。 我们的方法在低分辨率和拥挤、杂乱和遮挡的场景中优于以前的方法，这要归功于 (i) 我们新的复合场 PAF 编码细粒度信息和 (ii) 选择拉普拉斯损失进行回归，其中包含了不确定性的概念。 我们的架构基于完全卷积、单次、无框设计。 我们在标准 COCO 关键点任务上执行与现有最先进的自下而上方法相当，并在交通领域的修改后的 COCO 关键点任务上产生最先进的结果。

        我们建议将姿势估计 [3] 中的场概念扩展到标量和矢量场之外的复合场。 我们引入了一种具有两个头部网络的新神经网络架构。 对于每个身体部位或关节，一个头部网络预测该关节的置信度得分、精确位置和大小，我们将其称为部件强度场 (PIF)，类似于 [34] 中的融合部件置信度图。 另一个头部网络预测部件之间的关联，称为部件关联字段 (PAF)，它是一种新的复合结构。 我们的编码方案能够在低分辨率激活图上存储细粒度信息。 关节位置的精确回归至关重要，我们使用基于拉普拉斯的 L1 损失 [23] 而不是普通的 L1 损失 [18]。 我们的实验表明，我们在低分辨率图像上的性能优于自下而上和已建立的自上而下方法，同时在更高分辨率上的性能相当。

Figure 2: - Model architecture. The input is an image of size (H,W) with three color channels, indicated by "x3". The neural network based encoder produces PIF and PAF fields with 17×5 and 19×7 channels. An operation with stride two is indicated by "//2". The decoder is a program that converts PIF and PAF fields into pose estimates containing 17 joints each. Each joint is represented by an x and y coordinate and a confidence score.
整体框架

三、方法解析

LLY_A_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PifPaf: Composite Fields for Human Pose Estimation
Matthew技术小站
03-28 4873
发表于arxiv, 一个bottom-up的方法, 用来预测单张图片中多个人体的关节点位置, 已开源 arxiv地址: https://arxiv.org/abs/1903.06593 github地址: https://github.com/vita-epfl/openpifpaf contribution bottom-up, box-free, end-to-end cnn arc...
姿态估计——PifPaf:Composite Fields for Human Pose Estimation
乐亦亦乐的博客
11-28 2688
本文仅作为自己学习过程的一个记录。 论文地址：https://arxiv.org/pdf/1903.06593.pdf GitHub地址：https://github.com/vita-epfl/openpifpaf 官方API：https://vita-epfl.github.io/openpifpaf/intro.html 浏览器在线测试：https://vita-epfl.github.io/openpifpafwebdemo/ https://www.cnpython.com/pyp.
「G-RMI」&「PersonLab」&「PifPaf」
senius的博客
07-11 3129
G-RMI PersonLab PIFPAF
【姿态估计文章阅读】PifPaf: Composite Fields for Human Pose Estimation
小欧欧的博客
11-05 3873
一、CVPR2019，内容上还是比较厉害的，代码：https://github.com/vita-epfl/openpifpaf 二、主要思想 1、提出了Part Intensity Field (PIF)来提升heatmap在高分辨率下的精度 2、利用Part Association Field (PAF)来连接joints 3、本文方法主要...
PifPaf: Composite Fields for Human Pose Estimation论文简读
如果想成为中心，那么就到中心去吧。
09-24 419
code: https://github.com/cwlroda/falldetection_openpifpaf 文章目录摘要方法结果 摘要 我们提出了一种新的自下而上的多人二维人体姿态估计方法，特别适合于城市移动性，如自动驾驶汽车和交付机器人。新的方法，PifPaf，使用零件强度字段(PIF)来定位身体部位，并使用零件关联字段(PAF)来将身体部位相互关联起来，以形成完整的人体姿势。我们的方法在低分辨率和拥挤、杂乱和封闭的场景中优于以前的方法，这要感谢(i)我们新的复合字段PAF编码细粒度信息和(ii.
DeepPose: Human Pose Estimation via Deep Neural Networks
06-05
《DeepPose ： Human Pose Estimation via Deep Neural Networks 》原始论文，其为第一篇应用深度神经网络于姿态估计领域（Human Pose Estimation）的文章。发表于CVPR2014。
3D Human Pose Estimation = 2D Pose Estimation + Matching(2017)
01-07
3D Human Pose Estimation = 2D Pose Estimation + Matching(2017) Abstract Many approaches try to directly predict 3D pose from image measurements,we explore a simple architecture that reasons through ...
Motionlet LLC coding for discriminative human pose estimation
02-09
As for discriminative human pose estimation, the main goal is to learn a nonlinear mapping from image descriptors to 3D human pose configurations, which is difficult due to the high-dimensionality of...
Delving into Unbiased Data Processing for Human Pose Estimation.pdf
04-05
The Devil is in the Details: Delving into Unbiased Data Processing for Human Pose Estimation CVPR2020
openpifpaf：在PyTorch中“ PifPaf：用于人体姿势估计的复合字段”的正式实现
02-04
openpifpaf 经过Linux，MacOS和Windows的持续测试： PifPaf：用于人类姿势估计的复合字段 我们提出了一种用于多人2D人体姿势估计的新的自下而上的方法，该方法特别适合于城市机动性，例如无人驾驶汽车和送货机器人。 新方法PifPaf使用“零件强度场”（PIF）定位身体部位，并使用“零件关联场”（PAF）将身体部位彼此关联以形成完整的人体姿势。 由于（i）我们的新复合场PAF编码了细粒度的信息，并且（ii）选择了包含不确定性概念的回归Laplace损失，因此我们的方法在低分辨率以及拥挤，混乱和遮挡的场景中优于以前的方法。 我们的架构基于完全卷积，单发，无盒设计。 我
openpifpaf:正式执行“ OpenPifPaf
04-12
openpifpaf 经过Linux，MacOS和Windows的持续测试： ： OpenPifPaf：用于语义关键点检测和时空关联的复合字段（ ，（ ，（ ，2021年。 许多基于图像的感知任务可以公式化为检测，关联和跟踪语义关键点，例如人体姿势估计和跟踪。 在这项工作中，我们提出了一个通用框架，该框架可以在单个阶段中共同检测并形成时空关键点关联，这使其成为第一个实时姿势检测和跟踪算法。 我们提出了一种通用的神经网络体系结构，该体系结构使用Composite Fields来检测和构建时空姿势，该姿势是一个单独的连接图，其连接点是多个帧中的语义关键点（例如人的身体关节）。 对于时间关联，我们引入了时间复合关联字段（TCAF），它需要扩展的网络体系结构和训练方法，而不是以前的复合字段。 我们的实验显示出竞争准确性，同时在多个公开可用的数据集（例如COCO，CrowdPose以及
openpifpafwebdemo:基于Web浏览器的OpenPifPaf演示
05-07
openpifpafwebdemo 链接：， 和。 现场演示： : 无服务器实时演示： : 本地使用 在Python中运行完整的管道（神经网络和解码器），并在浏览器中可视化输出： pip3 install openpifpafwebdemo python3 -m openpifpafwebdemo.server 故障排除：确保您使用的是Python3，并且具有最新的pip和setuptools与pip install --upgrade pip setuptools 。 不要克隆此存储库。 确保当前目录中没有名为openpifpafwebdemo文件夹。 例子： 码头工人 对于每个版本，此存储库都会构建一个新的映像并将其上传到 。 您可以使用以下方法进行测试： docker run -d -p 5000:80 svenkreiss/openpifpafwebdemo 该d
OpenPifPaf decode源码解析
Matthew技术小站
06-26 3266
openpifpaf 的decode过程: 网络的输出: pif, 原始的输出共有4个, 分别为: joint_intensity_fields, shape 为 [17, output_h, output_w]. 其实就是输出的每个位置上的confidence map, 17表示channel数, 在pose检测里面表示总共有多少个关键点需要检测. joint_offset_fields,...
CVPR学习（五）：CVPR2019-人体姿态
TheDayIn_CSDN的博客
07-03 3502
待补充论文解读 3D姿态估计 3D人体姿态的自监督学习，使用多视几何的方法 土耳其中东技术大学 Self-Supervised Learning of 3D Human Pose Using Multi-View Geometry Muhammed Kocabas, Salih Karagoz, Emre Akbas https://github.com/mkocabas...
(13) Multi-person Pose Estimation : PifPaf : CVPR 2019
qq_17721239的博客
09-26 602
PifPaf: Composite Fields for Human Pose Estimation CVPR 2019 reading time : 2019/09/24 papaer address :https://arxiv.org/abs/1903.06593v1 github地址:https://github.com/vita-epfl/openpifpaf 本文提出了2...
PAF基于PAF（部分亲和字段）的实时多人2D姿态估计-CMU_openpose
zzyy0929的博客
01-05 1万+
这是CVPR2017的一篇文章。 在本文中，文章通过实时算法来检测图像中多个人的二维姿态。 文章提出了关键点关联的明确的非参数表示，其编码人体肢体的位置和方向。 其次，设计了一个联合学习身体部分检测和身体部分关联的框架。 第三，证明一个贪心解析算法足以产生高质量的身体姿势分析，即使随着图像中人数的增加，效率也会保持高效（但是测试时间会随着人数增加而放缓）。 在文章中展示了代表性的失败案例。本
【CVPR2019_论文汇总】（按方向划分，0401 更新中）
热门推荐
maweifei的博客
04-01 3万+
转载链接：http://bbs.cvmart.net/topics/302/cvpr2019paper 作为计算机视觉领域三大顶会之一，CVPR2019（2019.6.16-6.19在美国洛杉矶举办）被CVers 重点关注。目前CVPR 2019 接收结果已经出来啦，相关报道：1300篇！CVPR2019接收结果公布，你中了吗？ 开设此帖希望可以实时跟进CVPR2019的即时信息及相关优秀论文，...
详细解释一下FastNet: Fast high-resolution network for human pose estimation
最新发布
03-28
FastNet是一种快速高分辨率网络，用于人体姿势估计。它是基于深度学习的模型，旨在快速准确地预测人体关键点的位置，从而实现人体姿势估计。 FastNet的设计采用了一些创新的技术，以提高模型的准确性和速度。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值