CVPR2019|微软、中科大开源基于深度高分辨表示学习的姿态估计算法

640?wx_fmt=jpeg

 

作者 | 周强(CV君)

来源 | 我爱计算机视觉(公众号id:aicvml)

 

如何挑战百万年薪的人工智能!

https://edu.csdn.net/topic/ai30?utm_source=csdn_bw

 

昨天arXiv出现了好几篇被CVPR 2019接收的论文。

 

其中来自微软和中国科技大学研究学者的论文《Deep High-Resolution Representation Learning for Human Pose Estimation》和相应代码甫一公布,立刻引起大家的关注,不到一天之内,github上已有将近50颗星。

 

今天就跟大家一起来品读此文妙处。

 

该文作者信息:

 

640?wx_fmt=jpeg

 

该文为第一作者Ke Sun在微软亚洲研究院实习期间发明的算法。

 

基本思想

 

作者观察到,现有姿态估计算法中往往网络会有先降低分辨率再恢复高分辨率的过程,比如下面的几种典型网络。

 

为便于表达,在下面的a、b、c、d四幅图中,同一水平线上的特征图为相同分辨率,越向下分辨率越小,在最终的高分辨率特征图heatmap中计算姿态估计的关键点。

 

 

640?wx_fmt=jpeg

Hourglass

 

 

640?wx_fmt=jpeg

Cascaded pyramid networks

 

 

640?wx_fmt=jpeg

Simple baseline

 

 

640?wx_fmt=jpeg

Combined with dilated convolutions

 

 

其中的网络结构说明如下:

 

 

640?wx_fmt=jpeg

 

作者希望不要有这个分辨率恢复的过程,在网络各个阶段都存在高分辨率特征图。

 

下图简洁明了地表达作者的思想。

 

640?wx_fmt=jpeg

 

在上图中网络向右侧方向,深度不断加深,网络向下方向,特征图被下采样分辨率越小,相同深度高分辨率和低分辨率特征图在中间有互相融合的过程。

作者描述这种结构为不同分辨率子网络并行前进。

 

关键点的heatmap是在最后的高分辨率特征图上计算的。

 

网络中不同分辨率子网络特征图融合过程如下:

 

640?wx_fmt=jpeg

 

主要是使用strided 3*3的卷积来下采样和up sample 1*1卷积上采样。

 

这么做有什么好处?

作者认为:

1)一直维护了高分辨率特征图,不需要恢复分辨率。

2)多次重复融合特征的多分辨率表示。

 

实验结果

 

该算法在COCO姿态估计数据集的验证集上测试结果:

 

640?wx_fmt=jpeg

 

与目前的state-of-the-art比较,取得了各个指标的最高值。相同分辨率的输入图像,与之前的最好算法相比增长了3个百分点!

 

在COCO test-dev数据集上,同样一骑绝尘!

 

640?wx_fmt=jpeg

 

在MPII test 数据集上,同样取得了最好的结果!

 

640?wx_fmt=jpeg

 

作者进一步与之前最好模型比较了参数量、计算量,该文发明的HRNet-W32在精度最高的同时,计算量最低!

 

如下图:

 

640?wx_fmt=jpeg

 

在PoseTrack2017姿态跟踪数据集上的结果比较:

 

640?wx_fmt=jpeg

 

同样取得了最好的结果。

 

下图是算法姿态估计的结果示例:

 

640?wx_fmt=jpeg

(请点击查看大图)

 

不仅仅是姿态估计

 

作者在官网指出,深度高分辨率网络不仅对姿态估计有效,也可以应用到计算机视觉的其他任务,诸如语义分割、人脸对齐、目标检测、图像分类中,期待更多具有说服力的结果公布。

 

640?wx_fmt=jpeg

 

640?wx_fmt=jpeg

 

640?wx_fmt=jpeg

论文地址:

http://cn.arxiv.org/pdf/1902.09212.pdf

项目主页:

https://jingdongwang2017.github.io/Projects/HRNet/PoseEstimation.html

代码地址:

https://github.com/leoxiaobin/deep-high-resolution-net.pytorch

 

(本文为AI科技大本营转载文章,转载请微信联系原作者)

 

人工智能的现状及今后发展趋势如何? 

https://edu.csdn.net/topic/ai30?utm_source=csdn_bw

群招募

 

扫码添加小助手微信,回复:公司+研究方向(学校+研究方向),邀你加入技术交流群。技术群审核较严,敬请谅解。

640?wx_fmt=jpeg

 

推荐阅读:

                         640?wx_fmt=png

点击“阅读原文”,查看历史精彩文章。

  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值