Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network

最新推荐文章于 2023-06-13 10:53:32 发布
最新推荐文章于 2023-06-13 10:53:32 发布
阅读量2.3k 收藏 4
点赞数
分类专栏： cvpr 文章标签： pose estimation CNN multi-tasks
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zimenglan_sysu/article/details/50294349
版权
该论文介绍了使用深度卷积神经网络进行人体姿态估计的异构多任务学习方法。首先，通过行人检测裁剪图像，然后在裁剪图像上进行姿态估计。网络输入包括裁剪的图像和关节坐标标签，采用归一化处理。训练过程中，同时优化关节回归器和部分检测器的损失函数。测试时仅使用关节回归器预测结果。这种方法通过多任务学习提高性能，但存在通过全连接层直接回归坐标的问题。
摘要由CSDN通过智能技术生成
Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network
论文题目Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network,  链接
该篇论文是IJCV 2014的, 文章的核心multi-tasks的joint traning. 
直接看图说话,  该论文的核心思想/步骤可以分为两个components:

  1对图像里面的person进行detection, 以便裁剪出图像里面的人.
        这个显然是必要的, 尤其是图像大而person小, 或者图像里面的人较多时(>= 2 people)
        由于这部分不是该论文里面的重点, 这点在此就不阐述了, 
         有兴趣的童鞋, 可以自行看一些person detection(或者行人检测)的论文之类的.
  2该论文的重头戏, pose estimation in still image. 下面将详细阐述该部分

Pose Estimation:

还是直接看图:
  1上图中输入是裁剪好的图像(根据由human body detector得到的bounding box around the human来获取)
  2 显然输入除了cropped image还需要对应的labels. 这里的labels就是对应cropped image的joints'/parts'的coordinates.
      显然为了获得更好的perfomace, 往往需要对labels进行归一化. 论文里的归一化比较简单:
  
最低0.47元/天 解锁文章
_menglan_Zi
关注
专栏目录
DeepPose: Human Pose Estimation via Deep Neural Networks(精读)
小胜爱捣鼓
08-29 1万+
一.文献名字和作者 DeepPose: Human Pose Estimation via Deep Neural Networks， CVPR2014     二.阅读时间 2014-08-29 三.文献的目的     文献为了解决当前对于姿态估计中只是使用局部的观点来估计关节点的坐标，这样虽然高效，但是，在实际应用中却无法使用。 四.文献的
多目标追踪-2019综述《Deep Learning in Video Multi-Object Tracking: A Survey》
qq_41614538的博客
12-02 6477
Deep Learning in Video Multi-Object Tracking: A Survey 近期开始研究多目标追踪，因此先找了一篇比较新的2019年综述性论文入门。 本论文将MOT通用算法归纳为4个步骤，并分别介绍了Deep Learning在各步骤中的应用，给出了典型论文以供读者进一步阅读学习。 文章目录1 Introduction2 MOT: algorithms, me...
DeepPose-Human Pose Estimation via Deep Neural Networks
05-21
We propose a method for human pose estimation based on Deep Neural Networks (DNNs). The pose estimation is formulated as a DNN-based regression problem towards body joints. We present a cascade of such DNN regressors which results in high precision pose estimates. The approach has the advantage of reasoning about pose in a holistic fashion and has a simple but yet powerful formulation which capitalizes on recent advances in Deep Learning. We present a detailed empirical analysis with state-ofart or better performance on four academic benchmarks of diverse real-world images.
Learning Human Pose Estimation Features with Convolutional Networks
xuzf 的博客
09-07 667
Learning Human Pose Estimation Features with Convolutional Networks ICLR 2014 arXiv 原文链接 Abstract 作者介绍了一种使用多层卷积网络结构的人体姿势估计模型，以及可学习低层特征和高层弱空间模型的改进的学习方法。 文章主要贡献： 首次展示深度学习模型能很好地完成无约束的姿态估计任务。 发现在仅覆盖图像上几个像素的区域上就可以学习强大的低级特征检测器 作者以 bottom-up 模型和弱空间模型超过了当时最佳模型 1
DeepPose: Human Pose Estimation via Deep Neural Networks
06-05
《DeepPose ： Human Pose Estimation via Deep Neural Networks 》原始论文，其为第一篇应用深度神经网络于姿态估计领域（Human Pose Estimation）的文章。发表于CVPR2014。
【MobileNetsv1】: Efficient Convolutional Neural Networks for Mobile Vision Applications
我的博客
06-13 205
我们提供了一种称为MobileNets的高效模型类，用于移动和嵌入式视觉应用。MobileNets基于一种简化的架构，使用深度可分离卷积来构建轻量级深度神经网络。我们引入了两个简单的全局超参数，可以有效地权衡延迟和准确性。这些超参数允许模型构建者根据问题的约束条件选择适合其应用程序的正确大小的模型。我们进行了大量的资源和准确性权衡实验，并在ImageNet分类任务上展现出与其他流行模型相比的较强表现。
ICRA2020论文整理（SLAM + Deep Learning）
Spacegene的博客
07-20 1万+
参考:https://github.com/PaoPaoRobot/ICRA2020-paper-list Table of Contents: 1. SLAM 2. Deep Learning in Robotics and Automation 3.Localization 4. Sensor Fusion 5. Calibration and Identification 6. Semantic Scene Understanding 7. Reinforcement Learn...
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
姿态识别入门 DeepPose: Human Pose Estimation via Deep Neural Networks
header_zzj的博客
05-13 3095
文章提出了一个基于深度神经网络（DNNs）的人体姿态估计方法，利用几个DNN回归结果的级联，能产生高质量的姿势估计结果。整体方法由于深度学习具有强大且简单的表达方式而在姿态推理的方向上具有优势。
论文阅读：Multi-Task Convolutional Neural Network for Pose-Invariant Face Recognition
sinat_29381299的博客
10-19 1223
概述： TIP2018的文章，实现的是基于Multi-task的网络实现大pose的人脸识别。 作者： url： https://ieeexplore.ieee.org/document/8080244 Motivation： Multi-task（MTK）的网络对于task之间往往会相互促进。人脸识别任务可以分为主任务：抛开pose/光照/表情的人脸识别，以及pose光照表情...
论文阅读笔记《PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes》
深视
12-29 3674
核心思想   本文提出一种基于卷积神经网络的物体分割与位姿估计的方法（PoseCNN）。如下图所示，输入图像经过卷积层特征提取之后，分成三个任务分支：语义分割、平移矩阵预测和旋转矩阵（四元数）预测。最后结合三个分支的预测结果，得到每个物体的位姿估计。   语义分割分支采用了常见的全卷积神经网络方法。平移矩阵的预测并不是直接通过回归的形式输出中心点坐标，因为这种方法当中心点被遮挡时容易失效。而是预测物体上的每个点和中心点之间的连线方向，并预测每个点的深度值，通过投票的方式得到每个物体点的中心点坐标，然后根据
身体姿势估计 - Human Pose Estimation
MyArrow的专栏
07-19 7796
1. 简介    人体姿势估计主要采用：数据驱动、从下到上的方法；在此方法中，像素被独立地标记为身体的某一部分，或投票决定关节的位置。
Multi-Task Convolutional Neural Network for Face Recognition阅读笔记
qq_27391963的博客
05-16 2095
1.论文简介 ●单任务学习：输入一个pose给出一个ID，通过训练得到模型，每个pose照片和ID得到一种映射关系，没有体现出同一个人之间的关联性，也没有区分开不同人之间的区别性； ●多任务学习：给出一个人的多角度照片，一起训练一个人的多张不同pose照片，这样得到的特征就融合了一个人的多pose的特征，同时也把不同ID特征很好的区分开；●现在解决人脸识别效果的普遍方法是： 提升基
基于深度学习的位姿估计方法
weixin_39455125的博客
11-19 2907
A Multi-task Learning Convolutional Neural Network for Object Pose Estimation （Proceeding of the IEEE International Conference on Robotics and Biomimetics） 1.端到端网络结构：目标检测与分割网络+位姿估计网络 1）目标检测与分割网络：采用Mask R-CNN网络 2）位姿估计网络：先使用VGG16进行特征提取，再与Mask R-CNN网络输出的语义分割掩
Learning Spatiotemporal Features with 3D Convolutional Networks 读书笔记
Struggling_orange的博客
07-30 1910
  最近读了Learning Spatiotemporal Features with 3D Convolutional Networks这篇文章，下面对文章内容进行简要概括。 摘要   摘要主要介绍在大规模有监督的视频数据集下训练出了一种简单且高效的三维卷积神经网络的方法来学习时空特征。且此发现具有三重的效果：   1）相比较于二维，三维卷积神经网络更适合于时空特征   2）在三维卷积神...
3D pose estimation 综述
weixin_40017911的博客
03-21 3956
3D pose estimation 综述 想象一下，一辆自动驾驶汽车正驶向拥挤的城市交叉路口的场景。识别正在移动的行人，并预测行人或一群行人可能在几秒钟内的位置，以决定是否和何时刹车显得很关键。再想象一个机器人在博物馆或挤满行人的购物中心担任导游。机器人识别周围人的方位和位置是很重要的，可以提供更好的引导，避免撞到行人。在这些场景中，准确的行人姿态和位置预测对于促进更有效的人机交互和车辆避碰有...
姿态估计 - Human Pose Estimation Papers
长风破浪会有时，直挂云帆济沧海
10-11 9766
人体姿态估计 - Human Pose Estimation PapersSingle Person Human Pose Regression by Combining Indirect Part Detection and Contextual Information - 2017 [Paper] [Code] Self adversarial training for human pose e
姿态估计与人体动作识别的多任务深度学习模型
热门推荐
浪浪的博客
04-13 2万+
最近在做一个人体康复训练的项目，一开始考虑到人体康复训练需要肢体的细微动作，所以先使用人体姿态估计识算法提取骨骼点，再根据人体骨骼点来识别动作（后来发现也不一定这样），并组合成一个端对端的模型，正好找到了最近的一篇论文《2D/3D Pose Estimation and Action Recognition using Multitask Deep Learning》。看完这篇论文来和大家分享一下...
heterogeneous graph neural network for recommendation
最新发布
11-16
异构图神经网络（Heterogeneous Graph Neural Network）是一种在推荐系统中应用的技术。在传统的推荐系统中，用户和物品通常被表示为一个二部图，而异构图神经网络则可以更好地处理用户和物品之间多样的关系。 异构图神经网络在推荐系统中的应用，主要是通过将用户和物品的不同信息进行融合和学习，以提高推荐的效果。这包括用户的行为数据、社交关系、偏好信息等，以及物品的属性、标签、类别等多种信息。通过异构图神经网络的学习，可以更好地挖掘用户和物品之间的复杂关系，从而提升推荐系统的准确性和个性化程度。 在异构图神经网络中，会使用不同的神经网络结构来处理不同类型的节点和边，以更好地表达它们之间的关系。通过多层神经网络的学习，可以逐渐提取用户和物品的抽象表达，从而更好地进行推荐任务。同时，异构图神经网络也可以更好地处理数据稀疏和冷启动等问题，提高了推荐系统的泛化能力。 总的来说，异构图神经网络在推荐系统中的应用，可以更好地利用用户和物品之间的多样信息，提高了推荐的效果和个性化程度，是推荐系统领域的研究热点之一。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值