DeepPose: Human Pose Estimation via Deep Neural Networks 阅读笔记

最新推荐文章于 2024-08-18 11:14:15 发布
最新推荐文章于 2024-08-18 11:14:15 发布
阅读量5.8k 收藏 8
点赞数 2
分类专栏： 深度学习 文章标签： 深度学习 DNN DL 目标定位
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010359545/article/details/49516521
版权

本文作者：Alexander Toshev, Christian Szegedy
CVPR2014

摘要

本文提出了一种基于DNN的人体姿势估计方法。姿势估计的问题可以看成是基于DNN的关节回归问题。本文提出了一种级联的DNN回归模型，用于高精度地预测姿态。这种方法的优点是利用了全局的信息。

1、介绍

人体姿态估计的主要挑战有——strong articulations, small and barely visible joints, occlusions and the need to capture the context。
目前的主要研究的方法是Part-based models。这类的方法efficient，但表达能力有限，只使用了局部的特征。全局的方法也有被提出，但在实际问题中，取得的效果有限。
本文把姿态估计构造成一个关节回归的问题，并用DNN来实现。以整个图像为输入，用一个7层的卷积神经网络。有两个优点，一、使用了全局信息；二、这种方法比人工设计特征简单。本文还使用了串联网络的方法来提高精度。

2、相关工作

3、深度学习模型

这里写图片描述为pose vector，其中每一个元素代表一个坐标。一个标注图像用（x,y）表示，x代表图像数据，y为标签。
关节坐标是在绝对图像坐标系下的，需要归一化。Bounding Box 这里写图片描述，分别代表中心坐标(二维)、box宽和box高。
归一化公式：这里写图片描述
。
进而，这里写图片描述。

3.1、DNN-based 回归

y*在绝对图像坐标系。ψ代表了卷积神经网络。本文采用了Alex-Net的框架。
输入图像大小为220X220(文章写的是220x220，但Alex-Net一文中写的为224x224)，C(11,11,96,4)-LRN-P-C(5,5,256)-LRN-P-C(3,3,384)-C(3,3,384)-C(3,3,384)-P-F(4096)-F(4096)。（C(卷积核宽，长，数量，步长默认值为1)）
这里写图片描述
训练：
Ground Truth pose vector 是定义在绝对图像坐标系的，训练集D需要先进行归一化：

这里写图片描述
代价函数为L2范数，优化网络目标为
这里写图片描述
It should be noted, that the above objective can be used even if for some images not all joints are labeled. In this case, the corresponding terms in the sum would be omitted.(即使没有标注出所有的关节也可以，在这种情况下，该项应该被忽略)
用Bp算法优化，batch size为128，学习率设为0.0005。用crop(section3.2)，左右翻转做数据增强，全连接层做DropOut：0.6。

3.2 串联回归

由于输入图像大小固定，不能看到细节，直接增加输入图像大小会增加已经很大的参数数量。所以采用级联方式。在第一阶段，估计一个大致的作为初始。在随后阶段，用新的结果取代之前的。对所有阶段采用相同的网络结构。
对第一阶段，b0包括整个图像，
这里写图片描述

对s>=2的阶段，
这里写图片描述
bi由上一层的yi为中心决定，diam(y)由人体躯干上相反的关节距离决定，例如左肩膀和右臀部。
对Stage1的参数，按照 sec. 3.1, Eq(4)中训练。在接下来的阶段中，训练方法有一点重要的不同。对训练集（x,y）中的每一个节点i用一个不同的bounding box这里写图片描述归一化。这个bounding box以上一阶段的预测为中心，所以我们跟着前一阶段的模型来限制这一阶段的训练。
由于深度学习方法有很强的能力，我们通过对每一个图像、结点多重归一化进行数据增强。我们产生模仿的假设而不是只采用上一层的预测。通过一个2D-正态分布序列这里写图片描述随机移动节点i的ground truth，正态分布这里写图片描述的均值和方差由观察所有的这里写图片描述得到。这些充分增强的训练数据可以被定义为一次抽取一个来自统一的初始数据的例子和节点，然后产生一个基于正态分布抽取的位移的模拟预测：
这里写图片描述

参数代价函数：这里写图片描述

4.实际评估

4.1 计划

数据集：

1、Frames Labeled In Cinema（FLIC）；2、Leeds Sports Dataset
定义the diameter of a pose y 为肩膀到相反方向的臀部距离。

Metrics:

2个广泛被接受的评估metrics。1、Percentage of Correct Parts (PCP)2、Percent of Detected Joints (PDJ)

实验细节

。。。

4.2 实验结果。。。

相关博文：
(http://blog.csdn.net/sheng_ai/article/details/38925561)

[深度学习论文笔记][Human Pose Estimation] DeepPose: Human Pose Estimation via Deep Neural Networks
Hao_Zhang_Vision的博客
11-08 1563
DeepPose: Human Pose Estimation via Deep Neural Networks Toshev, Alexander, and Christian Szegedy. “Deeppose: Human pose estimation via deep neural networks.” Proceedings of the IEEE Conference on Co
读书笔记：DeepPose: Human Pose Estimation via Deep Neural Networks
versionwen的博客
11-17 497
摘要 文章提出一直基于DNN的人体姿势估计方法，人体姿势估计被转化成一个DNN的关节回归问题，文章还提出采用级联的DNN来提高预测的精度，这个方法的优势在于利用了全局的信息。 介绍 人体姿势估计被看做是一个关节点定位问题是计算机视觉一直重点关注的领域，但是在这个领域一直面临着很多挑战，比如说看不见的，那些小的关节，遮蔽的关节点，需要根据上下文判断的关节点，而这个领域主流的工作是各式样的关节姿...
DeepPose-Human Pose Estimation via Deep Neural Networks
05-21
We propose a method for human pose estimation based on Deep Neural Networks (DNNs). The pose estimation is formulated as a DNN-based regression problem towards body joints. We present a cascade of such DNN regressors which results in high precision pose estimates. The approach has the advantage of reasoning about pose in a holistic fashion and has a simple but yet powerful formulation which capitalizes on recent advances in Deep Learning. We present a detailed empirical analysis with state-ofart or better performance on four academic benchmarks of diverse real-world images.
阅读笔记——DeepPose: Human Pose Estimation via Deep Neural Networks
哇哇的博客
12-05 2809
目录概述方法数据集指标及效果 概述 DeepPose 2014 年由谷歌的研究人员提出，是最先将神经网络应用在人体姿态估计和关键点定位方面的论文。 如下图所示，关键点定位中存在一些问题： 一些关键点可能很小或者几乎不可见； 关键点可能被遮挡，这时候它的位置只能靠猜测； 不同部位的关键点可能发生混淆等。 方法 DeepPose 直接回归关键点坐标，为了提高回归精度，首先基于人体 box 框对关键点坐标进行归一化： 模型结构如下图所示，使用 5 个卷积层和两个全连层，最后对于 k 个关键点输出 2k 个坐标
关键点检测（2）——关键点检测发展历程
最新发布
战争热诚的博客
08-18 1350
本文是关键点检测的第二课，主要了解关键点检测的发展历史
DeepPose: Human Pose Estimation via Deep Neural Networks
06-05
《DeepPose ： Human Pose Estimation via Deep Neural Networks 》原始论文，其为第一篇应用深度神经网络于姿态估计领域（Human Pose Estimation）的文章。发表于CVPR2014。
姿态识别（1）：DeepPose ： Human Pose Estimation via Deep Neural Networks
热门推荐
专注！切记浮躁
05-07 3万+
这篇文章是使用深度学习网络处理人体关节点定位的第一篇文章，发表于2014，August 20. 作者使用了级联的卷积神经网络来预测人体关节点。 1 研究背景 人体姿态识别被定义为人体关键点的定位问题，一直以来是计算机视觉领域的重要关注点。这一问题有着一些常见的挑战，比如各式各样的关节姿态，小得难以看见的关节点，遮蔽的关节点，需要根据上下文判断的关节点，而这个领域主流的工作是各式样的关节姿态...
DeepPose：Human Pose Estimation via Deep Neutral NetWorks
乐亦亦乐的博客
10-13 770
DeepPose 论文原文：https://arxiv.org/pdf/1312.4659.pdf 图1.除了关节的极度变异性外，许多关节几乎看不见。我们可以在左边的图像中猜测右臂的位置，这仅仅是因为我们看到了其余的姿势，并预测了这个人的动作或活动。同样的，右边的图片中左边的身体一半根本看不见。这些是需要进行整体推理的例子。我们相信，DNNs能够自然地提供这种类型的推理。 摘要 我们提出了一种基于...
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation——精读笔记
学海无涯，快乐行舟
11-13 6625
RIFE是一种用于视频插帧(Video Frame Interpolation, VFI)的实时中间流估计算法(Real-time Intermediate Flow Estimation)。RIFE提出的IFNet神经网络可以由粗到精(coarse-to-fine)直接估算中间流，速度也更快。设计了一种特权蒸馏机制来训练中间流模型，可以大大提高性能。
3D人体姿态估计（介绍及论文归纳）
m0_50811752的博客
04-27 9652
3D人体姿态估计基本概念姿态估计难点人体结构化特性2D 姿态估计任务挑战3D 姿态估计问题挑战应用方法数据集类型可用信息姿态数据集PoseTrackCrowdPoseHuman3.6MDensePoseCOCOMPIIFLICLSPRGB数据集Leeds Sports Pose (LSP) DatasetFLIC DatasetMPII Human Pose DatasetMS COCO Keypoint LeaderboardAI ChallengePoseTrackRGB+D 60/120 数据集当前主
（CVPR-2014）DeepPose：通过深度神经网络进行人体姿态估计
顾道长生的科研笔记
06-18 2703
我们提出了一种基于深度神经网络 (DNN) 的人体姿态估计方法。姿势估计被表述为基于 DNN 的针对身体关节的回归问题。我们提出了一系列这样的 DNN 回归器，从而产生高精度的姿态估计。该方法具有以整体方式推理姿势的优势，并且具有简单但强大的公式，它利用了深度学习的最新进展。我们对不同真实世界图像的四个学术基准进行了详细的实证分析，具有最先进或更好的性能。
Dual-Source Deep Neural Networks for Human Pose Estimation 论文总结
丝萝愿为乔木的博客
03-16 1048
本文的姿态识别，实质就是预测出图像中关节的具体位置坐标。用到的FLIC数据集中的图片，需要预测的关节有10个，LSP有14个。
论文笔记--用于人体姿势估计的深度双连续网络（Deep Dual Consecutive Network for Human Pose Estimation）
Thewindking的博客
04-06 5043
用于人体姿势估计的深度双连续网络（Deep Dual Consecutive Network for Human Pose Estimation）
human pose/joints annotation
_menglan_Zi
11-03 1161
human pose/joints annotation human.pose annotation body.joints human pose/joints annotation 使用说明functions 介绍保存格式examplecode 使用说明 拷贝源码, 把它放到一个新建的jave project里面运
模型压缩之Distilling Knowledge From a Deep Pose Regressor Network
画心
09-14 1589
Distilling Knowledge From a Deep Pose Regressor Network 文章目录Distilling Knowledge From a Deep Pose Regressor Network主要工作主要结构损失函数原始的蒸馏使用student&imitation loss最小值将Imitation loss作为辅助损失将teacher loss作为损...
Multi-source Deep Learning for Human Pose Estimation(泛读)
小胜爱捣鼓
10-01 3173
一.文献名字和作者     Multi-source Deep Learning for Human Pose Estimation，CVPR2014     二.阅读时间     2014年10月1日 三.文献的贡献点     文章将用于人体姿态估计的三种不同的判断标准--混合类型、姿态得分和形变通过深度学习进行融合，从而得到更高层次和抽象的特征，以便
DeepPose ： Human Pose Estimation via Deep Neural Networks 阅读笔记
木卯_THU的博客
06-05 612
DeepPose ： Human Pose Estimation via Deep Neural Networks 阅读笔记摘要1. Introduction2. Related Work3. Deep Learning Model for Pose Estimation3.1. Pose Estimation as DNN-based RegressionTraining3.2 Cascade of Pose Regressors （基于残差的精确学习）Training4. Empirical Evalu
【DeepPose】《DeepPose：Human Pose Estimation via Deep Neural Networks》
bryant_meng
10-12 1569
CVPR-2014 用 Deep learning 方法做 Human Pose Estimation 的鼻祖 文章目录1 Background and Motivation2 Advantages / Contributions3 Method3.1 Pose Estimation as DNN-based Regression3.2 Cascade of Pose Regressors4 Experiments4.1 Datasets4.2 Results and Discussion5 Conc.
深度学习驱动的人体姿态估计：DeepPose技术解析
"DeepPose: Human Pose Estimation via Deep Neural Networks"这篇论文介绍了一种基于深度学习的创新姿态估计技术，它能够以整体的方式理解和预测人体姿态，克服了传统方法在处理复杂情况时的局限性。随着深度学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值