Jointly Optimize Data Augmentation and Network Training: Adversarial Data Augmentation in Human Pose

Jointly Optimize Data Augmentation and Network Training:Adversarial Data Augmentation in Human Pose Estimation

论文解读

一、简介

    这是一篇2018年的CVPR，这篇文章主要创新点在于把传统的数据增广利用 对抗学习的思想结合增强学习 来应用到了姿态估计上。、

二、文章内容

    文章主要有三个核心点：

        首先，文章说明了，不是去提出一个 姿态估计的新的结构，而是在原有的结构上讨论如何去提升。网络结构也比较容易理解，生成网络并不是直接去生成augment的图像，而是去生成“尺度、旋转”这几种变换的“分布”，然后结合上“混合高斯分布”再去应用到原图上。其中“尺度、旋转”的每一个bin对应于一个有界高斯分布。这里作者也提到了为什么不去直接应用到生成图像：1、直接去利用GAN生成对抗样本图像，这样训练起来会很难，作者实验发现没办法训练下去 2、直接把“尺度、旋转”应用到feature map上，这样虽然可行，但是无法估计groundtruth坐标变换带来的精度上的损失。

        

    1、ASR：

            这是对抗尺度变换以及对抗旋转变换。这个需要pre-train，也就是对于ASR这部分需要单独训练，利用一下loss公式进行训练。这是基于KL散度的loss function，对于s和r分别代表了尺度变换和旋转变换，m和n分别代表了尺度 和 旋转 的bin的个数。

                              

    2、AHO：

                这是遮挡样本生成，也就是在训练的时候对于数据中，比如说有14个关节，那么去遮挡 腿 ，用方块挡起来，这样去增强训练网络对于pose结构上的一种训练。这部分同样也会pre-train。AHO这部分不同于前面两部分，这里是先基于4x4大小的map去upscale到64x64的mask，然后直接操作到feature maps上面，这里作者强调了不会对后面坐标精度有影响，这个逻辑也很容易想明白。

                              

                                     

    3、Joint training of two networks：

                加入了 reward 机制，从最开始的整体网络结构可以看出，如果去掉这个 reward ，那么 G网络就没有办法和D网络一起update了。

                

        这里的具体过程可以参考下面的两个伪算法：

三、实验结果

        这里作者做了很多比较，有单方面的ASR AHO 还有结合使用的结果，对比的比较细致，这个pose 网络是采用了hourglass结构。