CVPR 2018 Session 1-1B：Analyzing Humans in Image I

Oral

1. [A7] Finding Tiny Faces in the Wild With Generative Adversarial Network, (小区域人脸识别)

小区域人脸识别: Yancheng Bai, Yongqiang Zhang, Mingli Ding, Bernard Ghanem KAUST

1. 【问题】图像中的小像素的人脸难识别（Eg. 3x3像素人脸），图像金字塔会模糊图像；
2. 【创新 #Step1】Super-Resolution+Refinement Network 产生尖锐的图像；discriminator 判别“真假人脸”与“是否人脸”；
3. 【创新 #Step2】使用MB-FCN探测器作为Baseline，训练 生成器和判别器；
4. 【创新 #Step3】Gan Network的Loss可以看作min-max的问题（使用GANZ）；

---

2. [A10] Learning Face Age Progression: A Pyramid Architecture of GANs, (GAN年龄生成)

GAN年龄生成: Hongyu Yang, Di Huang, Yunhong Wang, Anil K. Jain

• 传统的人脸年龄研究方法：
  • 基于机器仿真（Mechanical simulation based）；
  • 基于老化函数（Aging function based）；
  • 基于原始模型（Prototyping pattern based）；
• 存在限制：
  • 年龄处理具有复杂性（Complex）；
  • 机器仿真难以精确表示年龄（cannot be accurately formulated）；
  • 年龄的数据不够充足（not rich enough）；

Paper内容：

1. 【问题】准确预测年龄、无法保留身份特征、生成完全人脸 前额和头发有影响；
2. 【动机】GAN网络年龄生成器、identity cue preservation in a coupled manner、Handling age transformation in a fine-grained way；
3. 【方法】Loss：Age Transformation Loss + Identity Preservation Loss + Piel Level Loss；
4. 【数据集】MORPH + CACD + FG-NET；
5. 【评价指标】Visual Fidelity、Aging Accuracy、Identity Permanence、Comparison to State-Of-The-Art；
6. 【总结】GAN网络年龄生成方法、判别器提成年龄合成的准确度 、提升有效性和鲁棒性；

---

3. [B2] PairedCycleGAN: Asymmetric Style Transfer for Applying and Removing Makeup, (风格迁移)

风格迁移: Huiwen Chang, Jingwan Lu, Fisher Yu, Adam Finkelstein

• 【问题】有图像作为输入，不知图像的对称输出；
• 【解决】使用Asymmetric，风格迁移对应两个不对称函数：
  1. 前向 Forward：传递化妆风格；
  2. 后向 Backward：删除化妆风格；
• 【创新】建立两个耦合网络，轮换训练 最终生成的图片效果为原图；
  

5. 【方法】迁移化妆 - 五官segmentation问题：增加phase passer，各个提取五官训练；
6. 【实验和问题】使用Resnet效果更好，但重建面部无法还原细节；

---

Spotlights (S1-1B)

1. [B5] GANerated Hands for Real-Time 3D Hand Tracking From Monocular RGB, (姿态估计 输入图像输出3D姿态)

姿态估计 输入图像输出3D姿态: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, Christian Theobalt

输入手势图片输出3D手势

• 【方法】训练数据集：使用3D软件生成；

---

2. [B8] Learning Pose Specific Representations by Predicting Different Views, (半监督人体语意分割)

半监督人体语意分割: Georg Poier, David Schinagl, Horst Bischof

由人体相似性 给未标记的人体部位做语意分割；

• 方法：
  1. 找到数据集中相似的人体；
  2. 生成部分先验，做粗略标注；
  3. 用FCN，对标签做图像细化；

---

3. [B14] Person Transfer GAN to Bridge Domain Gap for Person Re-Identification, (复杂场景数据集风格不统一)

复杂场景数据集风格不统一: Longhui Wei, Shiliang Zhang, Wen Gao, Qi Tian

• 【问题】现有数据集不能模拟真实情况：
  • 数据集：小区域、固定场景、拍摄时间跨度、固定照明条件；
  • 真实条件：大范围、复杂场景、长时间跨度；
  • 不同数据集训练范化不好：不同 光照、背景、摄影参数；
  • We need to bridge Domain Gap;
• 【创新】贡献MSMT17，有15个相机同时拍摄；
• 【创新】使用PTGAN转换：背景、光照，同时保持身份不变；对比CycleGan，PTGAN有效保持身份信息；
• 数据集：CUHK03、PRID、MSMT17、Market、VIPeR；

---

4. [B17] Cross-Modal Deep Variational Hand Pose Estimation, (3D手势姿势)

3D手势姿势: Adrian Spurr, Jie Song, Seonwook Park, Otmar Hilliges

• 【问题】预测3D手势姿势 遇到遮挡
  1. 从数据中学习多种多样的分布；
  2. 在输入方式中是一致的；
• 【方法】检索手部关节 从特征点分布预测手姿势；
  
• 【方法】cross-modal 训练 （PS：多模态学习）；

---

5. [B20] Disentangled Person Image Generation, (生成模型学习)

生成模型学习 (Foreground Background Pose): Liqian Ma, Qianru Sun, Stamatios Georgoulis, Luc Van Gool, Bernt Schiele, Mario Fritz

• 【任务】合成单独控制 “前向 后向 和 姿势”
• 【关键点】分解人物到三个部分然后合并；
• 【方法】Pix2Pix、CycleGAN、PG2 相结合；
  
  • Stage-1: 训练Embedding Feature；
  • Stage-2: 利用高斯分布训练Embedding Feature；

---

6. [C1] Super-FAN: Integrated Facial Landmark Localization and Super-Resolution of Real-World Low Resolution Faces in Arbitrary Poses With GANs, (面部标定与低分辨率人脸姿态)

面部标定与低分辨率人脸姿态: Adrian Bulat, Georgios Tzimiropoulos
1. 【方法】提高分辨率 引入新的结构损失为基础；
2. 【方法】网络结构：
3. 【创新】Heatmaps Loss 保护面部结构；
4. PSNR - 峰值信噪比；SSIM - 结构相似性：亮度 对比度 结构 比较；

---

7. [C4] Multistage Adversarial Losses for Pose-Based Human Image Synthesis, (多角度人体位置合成)

多角度人体位置合成: Chenyang Si, Wei Wang, Liang Wang, Tieniu Tan

• 【方法】基于位置的人体图像和成方法；
• 【方法】多级对抗性损失；
• 数据集： Human 3.6M；