StyleClip项目支持写一段文字,指导StyleGAN2生成具备指定特征的图像。但这个项目往往需要一些中间数据,比如:在Pytorch环境下对应于输入原图的StyleGAN2反演(Inversion)潜码,格式是 .pt 文件,这与基于tensorflow实现的StyleGAN2Encoder不同。StyleClip项目官网主页上推荐这些中间数据可以通过 e4e 工具推理得到,所以我们需要把 e4e 这个项目跑起来。
e4e 项目的相关资源:
论文地址:hthttps://arxiv.org/abs/2102.02766
Github项目:https://github.com/omertov/encoder4editing
【说明】e4e网络架构。e4e使用基于编码器(encoder)的方法,在控制失真量的前提下力求获得反演图像最佳的感知质量与可编辑潜码(editable latents)。它不仅关注于如何获得高质量的反演图像,更加关注于如何获得高质量的可编辑潜码,使得真实图像在数字孪生空间内具有更强的感知质量与演变能力。e4e编码器接收输入图像并输出单个样式代码w以及一组偏移量,Δ(1)......Δ(N-1),其中N表示StyleGAN样式调制层的数量。通过N次复制w向量并将每个 Δ(i) 添加到对应向量上来获得最终的潜码表示。
它的官网上说,项目的源代码只能跑在 Linux 或 macOS 上,现在我们把它移植到Windows 10上。以下为移植步骤和上手试用的简要介绍。
(一)移植到Windows 10
(1.1)必备环境
Windows 10,NVIDIA Geforce RTX 2080Ti,VC 2017/VC++ 2017版本15.4 v14.11工具集,Pytoch 1.6.0,cudatoolkit 10.1
(1.2)下载e4e(encoderforediting)项目
https://github.com/omertov/encoder4editing
将下载后的压缩包解压,创建encoder4editing工作目录,如:D:\AI\encoderforediting-main
或者,也可以使用Git工具(需要先安装Git,然后进入cmd,进入目录 D:\AI):
git clone https://github.com/omertov/encoder4editing.git
cd encoder4editing
(1.3)创建虚拟环境(PowerShell不能激活相应环境,请务必使用cmd)
在 environment子目录下创建文件 win_e4e_env.yaml ,内容如下:
name: e4e_env
channels:
- conda-forge
- defaults
dependencies:
- _libgcc_mutex=0.1
- ca-certificates=2020.4.5.1
- certifi=2020.4.5.1
- libffi=3.2.1
- ninja=1.10.0
- openssl=1.1.1g
- pip=20.0.2
- python=3.6.7
- python_abi=3.6
- setuptools=46.4.0
- sqlite=3.31.1
- tk=8.6.8
- wheel=0.34.2
- xz=5.2.5
- zlib=1.2.11
- pip:
- absl-py==0.9.0
- cachetools==4.1.0
- chardet==3.0.4
- cycler==0.10.0
- decorator==4.4.2
- future==0.18.2
- google-auth==1.15.0
- google-auth-oauthlib==0.4.1
- grpcio==1.29.0
- idna==2.9
- imageio==2.8.0
- importlib-metadata==1.6.0
- kiwisolver==1.2.0
- markdown==3.2.2
- matplotlib==3.2.1
- mxnet==1.6.0
- network