Unsupervised Cross-View Facial Expression Image Generation and Recognition阅读笔记

文章提出了一种无监督的UCFEAN网络，通过循环交叉视图图像生成和特征空间的半监督学习，解决跨视图面部表情生成和识别问题。方法包括CCIGM和SFSM，利用GAN生成适应性图像并进行特征学习。实验在Multi-PIE数据集上验证了模型性能。

文章目录

摘要
方法
实验
- 实验数据和设置
- Multi-PIE数据集上的消融实验

摘要

文中提出了一种无监督的跨视图人脸表情自适应网络（UCFEAN），以无监督的方式同时生成和识别图像中的跨视图面部表情。UCFEAN的主要思想是将两个具有不同外观的图像空间之间的无监督域自适应转换为具有相同语义内容的特征空间中的半监督学习（SSL）。基于生成对抗性网络（GAN）进行跨视图面部表情的循环图像生成，将无标签的目标图像和有标签的源图像映射到具有相同语义内容的相应特征空间中。这有助于实现目标图像的无监督特征学习。然后，可以使用投影的源特征来学习投影的目标特征中面部表情表示的标签，因为投影的特征在两个域中的分布足够接近，可以通过使用SSL进行知识转移。利用三种方式训练UCFEAN。

提出了UCFEAN，以无监督的方式生成和识别图像中的跨视图面部表情。其主要思想是将具有不同外观的两个图像空间之间的无监督域自适应（UDA）转换为具有相同语义的特征空间中的SSL；
UCFEAN的模型由两部分组成：基于循环交叉视图人脸图像生成的无监督特征学习和在高级特征空间上执行的半监督学习SSL；
为使UCFEAN模型的训练更好，提出了target synthetic quality assessment、average face of domain、the PingPong Ramp-down三种训练策略；

方法

在这里插入图片描述

UCFEAN的主干由循环交叉视图图像生成模块（CCIGM）和特征空间中的SSL模块（SFSM）组成

Cyclic Cross-View Image Generation Module

在这里插入图片描述
循环交叉视图图像生成模块（CCIGM）具有两个目的：1.生成在正面面部图像和非正面面部图像之间的循环交叉视图面部表情图像。2. 通过从目标到源图像的有效面部表情图像自适应来无监督地学习目标特征。CCIGM使用两个类似于CycleGAN的双向GAN。我们改进了生成器bottlenec处的网络结构，使其可以输出类似于RGB图像格式的三通道特征数据。这些features被提供给SFSM用于后续SSL。