Matthew技术小站

ACM MM 2020 人体姿态估计挑战赛的第二名，作者来自新加坡国立大学和依图实验室。作者列表里有个熟悉的名字 Xuecheng Nie，就是之前 SPM 模型的一作。附 ACM MM 2020 人体姿态挑战赛的leaderboard，话说参赛人员数量不高啊~~~文章整体流程图如下图所示，因为是刷榜打比赛，所以不考虑速度，只考虑精度，所以各个模块的模型都是用了很大的模型。整体有三个大的模块，分别是：1）human detector 2）pose estimator 3）optical flow smoo

财大气粗的商汤出的第一个全身关键点数据集，直接对COCO数据集进行了扩展，将脸上的68个点，躯干的23个点（body17+feet6），以及手的23个点全部进行了标注，并将label进行了开源，地址：https://github.com/jin-s13/COCO-WholeBody，果然是大佬风范，佩服三连~除了很????的推出了第一个large-scale whole body pose dataset，还针对如何训练whole body pose提出了ZoomNet，网络结构如下所示：因为face

大连理工大学出的一篇基于bottom-up方法的多人人体姿态估计。整体思路和SPM很像，主要有以下几点不同：没有像SPM那样预先定义好的人体多级连接结构，而是类似于centernet一样，直接从一个中心点回归所有的pose offset中心点不仅仅是一个点，而是位于人体中心的一块区域。人体中心不再是通过box的中心确定，而是通过人体姿态组成的最小box来确定，这样保证中心点更合理，如图所示训练时是用了个refine module来进一步优化pose，送进refine module的是通过OKSFil

微软亚洲研究院新出的一篇很有意思的文章，从另外一个角度统一了object detection、instance segmentation、pose estimation。对于object detection和pose estimation任务而言，之前有过像CenterNet、SPM等通过检测中心点回归的方法来统一这两个方向的任务，但作者认为这样做有一些问题：仅仅使用中心点做回归能够利用的特征信息太少。像CenterNet，通过中心点回归object的中心点和宽高，如果是人的话，还可以回归N个关键点，这

（吐槽：标题为啥最后一个单词是tracking而不是Tracking）谷歌研究院提出的用于边缘设备上运行的单人人体姿态估计算法，思路很清奇，和之前的做法有很大的不同。使用face detector检测人体而不是body detector。作者发现，使用body detector的话受场景中密集人群遮挡的影响，而且遮挡严重状态下，body detector的confidence值不会很高。而人的头部一是不容易被遮挡，二是在神经网络中该出的响应值往往是最高的。因为，文章使用了一个face detect，并

单人pose模型文章，提出了一种基于kinematic structure来辅助模型对关键点进行定位，整体结构如下：模型是一个仿U-Net结构的网络结构，忽略U-Net的底部，先看下输出，模型会在不同的scale下进行upsample到原图分辨率大小进行heatmap输出，所以是个包含有多个loss的网络结构，重点看下上图中的绿色部分，也即是文章提出的Kinematic Features Updates结构。Kinematic Features Updates这个结构相当于是根据先验知识对人体姿态进行

一篇比较有意思的文章，用来增强模型对易混淆样本的学习，有别于传统的CE和Focal Loss。文章链接：arxivcode: githubwhy need this理由很简单，我们在做类似分类任务的时候，模型最终往往都会输出一个概率，我们会在输出的所有类别的概率中挑选其中最大的一个作为模型的输出。大部分情况下这种做法是没有问题的，但对于一些易混淆的任务来说，例如图片分类中一些看着相似但类别不一致的图片，人体姿态估计中两个相对的左右关节，这些都会对模型的输出造成一定的困扰。如文章中图1所示：对于人体

official pytorch codepaper link恭喜文章被CVPR 2020接收。本来19年的时候在arxiv上找到了这篇文章，当时还是叫做"Bottom-up Higher-Resolution Networks for Multi-Person Pose Estimation"，今天一看arxiv上已经更新到v3了，名字也改了。HigherHRNet是在HRNet和Simp...

官方github文章地址

arxivofficial pytorch implemention旷视研究院最新关于人体姿态估计的力作，最优模型在COCO test-dev刷到了79.2，rank no.1，关键还是几位实习生做的，还是个98年的大佬～～前言人体姿态估计是一个对位置精度要求很高的任务，它不像图像分类对location信息要求不那么严格，而是和语义分割一样，准确的location信息对它帮助很大。之前的很...

https://arxiv.org/pdf/1602.00134.pdfCPM基本上可以算是第一个end-to-end的单人姿态全卷积神经网络（同时期还有个Hourglass，两者时间差不多）。CPM是在之前PM(Pose Machines)基础上，加入卷积神经网络得到，CPM整体流程如下所示：（a）和（b）就是PM中的结构，（c）（d）则是CPM对应（a）（b）做的改进。CPM分为多个sta...

这篇文章不是介绍怎么设计网络去提高多人姿态检测在数据集上的mAP值，而是去找出姿态估计算法为啥得分这么低的原因，更直白的讲就是，这个模型效果不好，这个效果不好具体是哪些地方效果不好，文章探究的是这个更底层的原因，而不是简单粗暴的堆trick提高mAP。文章是2017年发表的，当时比较出名的两个多人人体姿态估计网络是Google的GRMI和CMU的OpenPose，文章就是根据这两个模型来查找原因。...

arxiv: https://arxiv.org/pdf/1911.10529.pdfgithub:https://github.com/jialee93/Improved-Body-Parts既然是Rethinking, 那么就要先只出需要rethinking的内容. 文章主要针对于人体姿态估计中的bottom-up的方法, 提出了关于bottom-up方法里的一些问题的思考:人体姿...

升级到tf 2.0后, 训练的模型想转成1.x版本的.pb模型, 但之前提供的通过ckpt转pb模型的方法都不可用(因为保存的ckpt不再有.meta)文件, 尝试了好久, 终于找到了一个方法可以迂回转到1.x版本的pb模型.Note: 本方法首先有些要求需要满足:可以拿的到模型的网络结构定义源码网络结构里面的所有操作都是通过tf.keras完成的, 不能出现类似tf.nn 的tensor...

方式一：import tensorflow as tffrom nets.single_posenet import singlePosenet from configs.spn_config import paramsfrom dataset.dataset import get_datasetimport osimport timeif __name__ == '__main...

昨天在arxiv上发现的一篇非常有意思的论文，特来记录一下，惯例发链接为什么文章叫Single-Stage，首先，针对多人pose这方面，主流的方法分为两类：Top-Down solution。先用一个detector检测出来图像上的所有行人，然后针对每一个检测的出来的human box，做单人pose预测，总共需要2步Bottom-Up solution。先用一个cnn检测出来图像上所有...

之前写过一篇文章有关tensorflow ckpt和pb模型之间转换的操作, 这次再详细说下里面的一些坑.ckpt 转 pb如果只有ckpt文件，例如三个ckpt文件model-xxx.data, model-xxx.meta, model-xxx.index, 转成pb文件方式很简单，按照上面的链接就可以，只需要确定好输出节点名称就可以。如果不知道，可以打印ckpt里面的节点名称，或者使用t...

除了可以使用tensorflow自己定义好的learning_rate schedules外，我们也可以自定义tensorflow的learning_rate schedule，由于2.0的eager模式，这个改变十分简单：def lr_fn(epoch, base_lr=1e-4): # based on your strategy to change lr for epoch in...

首先生成个list或者numpy, 然后初始化dataset:dataset = tf.data.Dataset.from_tensor_slices(img_ids)img_ids 是包含所有需要训练的图片id集合, 这行代码执行完之后, 在dataset里面的每一个元素都是一个tensor, 每个tensor的值是图片id.执行shuffle, 在这里先执行shuffle而不是之...