PaddleGAN-人脸特征融合

引言

• 本文为测试PaddleGAN中人脸特征融合功能过程的一个展示(paddleGAN中宣传叫我和AI有个孩子，示例图片倒是也挺契合的，不过可以看个人测试结果展示，还是不太一样的)
  • 个人反而觉得可以"制造"出一些撞脸怪，哈哈哈，但是自己玩一玩就好，不要乱搞哦
• PaddleGAN总项目地址:PaddleGAN
• 年龄与性别转换测试地址：具体操作

项目结构

• 执行代码貌似都在application这个应用目录下的tools目录，起码目前我个人测试的是都在的
  

step1

• 粘贴的为项目给出代码，要体验自行更改，两张要融合的图片都需要提取(目前未测试如果不进行该步，直接融合有什么影响，感兴趣的朋友可以自己试试)

python -u tools/styleganv2fitting.py \
       --input_image '/home/aistudio/人脸测试集/guanzhong.jpeg'\
       --need_align \
       --start_lr 0.1 \
       --final_lr 0.025 \
       --latent_level 0 1 2 3 4 5 6 7 8 9 10 11 \
       --step 100 \
       --mse_weight 1 \
       --output_path '/home/aistudio/output/guanzhong' \
       --model_type ffhq-config-f \
       --size 1024 \
       --style_dim 512 \
       --n_mlp 8 \
       --channel_multiplier 2

提取人脸特征，个人觉得是为了让人物脸部特征更加突出，方便融合后照片展示该特征

• 应该可以很明显的看出来，首先会进行照片的裁剪并且对高分辨率图片进行降低分辨率的处理，可能高分辨率照片处理后就有点抽象了，但是测试发现基本不是很影响融合结果

step2

!python -u tools/styleganv2mixing.py \
       --latent1 '/home/aistudio/output/11/dst.fitting.npy' \
       --latent2 '/home/aistudio/output/guanzhong/dst.fitting.npy' \
       --weights \
                 0.5 0.5 0.5 0.5 0.5 0.5 \
                 0.5 0.5 0.5 0.5 0.5 0.5 \
                 0.5 0.5 0.5 0.5 0.5 0.5 \
       --output_path '/home/aistudio/mixoutput/11&guanzhong' \
       --model_type ffhq-config-f \
       --size 1024 \
       --style_dim 512 \
       --n_mlp 8 \
       --channel_multiplier 2 

融合效果展示

• 正+正 效果挺好的，基本结果都算是比较正常的，而且也可以明显看出是融合的结果

• 正+测 效果不是很好，结果不太可控，因为侧面在第一步提取特征时候提取的结果并不好，导致融合后怪怪的，且偏向于侧脸照片
  • 侧脸处理结果

• 侧+侧 可想而知，更不可控啦

• 完全侧脸会报错：找不到人脸

结尾

• 个人测试结果还是不够全面，有兴趣的朋友可以自己去多测试一下
• 关于项目介绍的后面让图片动起来，个人也做了测试，等有时间再专门介绍，有兴趣可以关注一下呀~