这个项目让我想起了以前玩QQ秀的时光。有了这个项目，再也不用找同学了，我自己也可以把头像卡通化了。
下图是我的头像、不得不说还真是神似。
人像卡通风格渲染的目标是，在保持原图像ID信息和纹理细节的同时，将真实照片转换为卡通风格的非真实感图像。
该项目的思路是，从大量照片/卡通数据中习得照片到卡通画的映射。
项目所需的主要依赖库如下：python 3.6
pytorch 1.4
tensorflow-gpu 1.14
face-alignment
dlib
训练
1.数据准备训练数据包括真实照片和卡通画像，为降低训练复杂度，该项目对两类数据进行了如下预处理：检测人脸及关键点。
根据关键点旋转校正人脸。
将关键点边界框按固定的比例扩张并裁剪出人脸区域。
使用人像分割模型将背景置白。
项目开源了204张处理后的卡通画数据，您还需准备约1000张人像照片（为匹配卡通数据，尽量使用亚洲年轻女性照片，人脸大小最好超过200x200像素），使用以下命令进行预处理：
python data_process.py --data_path YourPhotoFolderPath --save_path YourSaveFolderPath
将处理后的数据按照以下层级存放，trainA、testA中存放照片头像数据，trainB、testB中存放卡通头像数据。
├── dataset
└── photo2cartoon
├── trainA
├── xxx.jpg
├── yyy.png
└── ...
├── trainB
├── zzz.jpg
├── www.png
└── ...
├── testA
├── aaa.jpg
├── bbb.png
└── ...
└── testB
├── ccc.jpg
├── ddd.png
└── ...
2.训练重新训练:
python train.py --dataset photo2cartoon
加载预训练参数:
python train.py --dataset photo2cartoon --pretrained_weights models/photo2cartoon_weights.pt
测试
将一张测试照片（亚洲年轻女性）转换为卡通风格：
python test.py --photo_path ./images/photo_test.jpg --save_path ./images/cartoon_result.png
Q&A
Q：为什么开源的卡通化模型与小程序中的效果有差异？
A：开源模型的训练数据收集自互联网，为了得到更加精美的效果，我们在训练小程序中卡通化模型时，采用了定制的卡通画数据（200多张），且增大了输入分辨率。此外，小程序中的人脸特征提取器采用自研的识别模型，效果优于本项目使用的开源识别模型。
Q：如何选取效果最好的模型？
A：首先训练模型200k iterations，然后使用FID指标挑选出最优模型，最终挑选出的模型为迭代90k iterations时的模型。
Q：关于人脸特征提取模型。
A：实验中我们发现，使用自研的识别模型计算Face ID Loss训练效果远好于使用开源识别模型，若训练效果出现鲁棒性问题，可尝试将Face ID Loss权重置零。
Q：人像分割模型是否能用与分割半身像？
A：不能。该模型是针对本项目训练的专用模型，需先裁剪出人脸区域再输入。
2258
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
