JoJoGAN是2021年的一篇关于风格迁移的CVPR,最近看起来了之前的论文,无意之中看到了这一篇,觉得介绍的蛮有意思的,就想着复现一下,实现并不难,理论部分就不在说了,大家看了论文应该都能了解到了,而且百度很多讲解内容,我主要说一下如何实现的。
当然也可以通过colab实现,就是我运行过程中网络不太稳定,所以我就选择了另外一种方式。
1、首先,配置环境,可以根据官网提供的配置文件来安装。
https://github.com/mchong6/JoJoGAN
conda create -n torch python=3.9 -y
conda activate torch
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch -y
2、下载所需要的文件
git clone https://github.com/mchong6/JoJoGAN.git
cd JoJoGAN
pip install tqdm gdown matplotlib scipy opencv-python dlib lpips wandb
# Ninja is required to load C++ extensions
wget https://github.com/ninja-build/ninja/releases/download/v1.10.2/ninja-linux.zip
sudo unzip ninja-linux.zip -d /usr/local/bin/
sudo update-alternatives --install /usr/bin/ninja ninja /usr/local/bin/ninja 1 --force
PS:如果是非管理员用户的话,可能安装不了ninja,可以参考这篇论文Linux非管理员安装ninja
3、因为官方代码中没有给出JoJoGAN的训练代码,只有测试代码,所以大家可以将我提供的训练代码放入到下载的JoJoGAN目录下。一共包含四个文件。
链接:https://pan.baidu.com/s/19Zzsh8AHbpqxuiFVlBZubw?pwd=serc
提取码:serc
如果失效了可以评论留言或者私信都是可以的!!!非常欢迎大家交流学习的!!!
4、然后下载需要的模型文件
python download_models.py
当然,上述模型可以根据需要进行下载,不是都要下载,顺便提一下,给出下载模型的代码download_models.py中supergirl这个模型地址已经失效了,我也找不到了,不是非必须,这些都是可以训练出来的。
下面一些步骤根据需要选择,不是都是必须的。
5、生成随机人脸图像
python generate_faces.py -s 2000 -o input
6、风格化
python stylize.py -i test_input/iu.jpeg -s all --save-all --show-all
find ./input -type f -print0 | xargs -0 -i python stylize.py -i {} -s all --save-all
比如我们选择,提供的图像iu.jpeg,使用风格disney,所有的输出结果都在output中可以看到。
7、训练自己的模型
可以选择自己喜欢的风格训练自己的模型,过程非常快。
python train.py -n cartoon -i style_images/cartoon.jpeg --alpha 1.0 --num_iter 500 --latent_dim 512 --use_wandb --log_interval 50
比如使用cartoon图像来训练。
cartoon
8、使用自己的训练的模型进行风格化操作
python stylize.py -i input/10693.png --save-all --show-all --test_style cartoon --test_ckpt output/cartoon.pt --test_ref output/cartoon/style_images_aligned/cartoon.png
其中input文件夹下是原始内容图像,output是输出图片文件夹。
输出的结果一共三张。(支持1024*1024分辨率大小的图片作为输入)
单独风格化图片,所有结果图均保存在output文件夹下。
复现过程虽然写出来看着很容易,但是着实也费了一番精力,希望这篇文章能够帮助到大家!!!希望大家共同进步,当然有错误也希望大家指出来!!!