StyleFlow介绍和相关代码

StyleFlow这篇论文看了有阵子，具体有点忘了。这篇博客只讨论人脸，StyleFlow论文本身当然不只是针对人脸来做的。作者是来自阿卜杜拉国王科技大学的Rameen Abdal, Peihao Zhu, Niloy Mitra, Peter Wonka和来自UCL, Adobe Research的NILOY J. MITRA。

StyleFlow能在保持人脸id不变的情况下，对人脸的17个属性维度(包括age, pitch, yaw, beauty, expression, gender, glasses, race，另外还有9个光照属性维度)进行连续的调节。工作框图如下，

1. 首先要获取到w和对应的人脸属性attr，如果原始输入是图片，那么先要经过一个encoder对图片编码得到w，并且通过其他分类器获取到相关的人脸属性。

2. 通过JRE将w映射回z0。

3. 通过交互界面获取到对应的人脸属性变化，计算得到新的人脸属性attr'。

4. 将z0和attr'经过CFE获得w'，这是采用新属性编辑后得到的潜向量。

5. 将w'灌入stylegan generator得到编辑后的图片。

     论文开源地址在: https://github.com/RameenAbdal/StyleFlow

这个开源项目，有点缺胳膊少腿，只开放了现成的几个图片的潜向量和属性（由于属性需要调用其他商用服务接口获取），虽然光照使用的是DPR，也是有开源项目，但并没有集成。另外，作者用的stylegan2是基于tensorflow项目的，想运行起来，环境配置比较麻烦。

    基于此，我将几个开源项目整合了一下，避免对tensorflow的依赖，并且将人脸属性和光照做了集成，也增加了图片到潜向量的映射，允许对自己新增图片进行编辑。光照调节好像还不是很灵光，有兴趣的朋友可以进一步改进。项目地址为: https://github.com/xuduo35/StyleFlowPytorch