我用Stable Diffusion把《火影忍者》动漫角色变成了真人！

前言

以前我就在想，如果自己喜欢的动漫角色是真人的话，该长成什么样子呢？现在有了AI绘画后，这个想法落地就简单了。我通过AI，把很多动漫角色变成真人，而且效果还挺不错的。

今天我就以火影为例，把一些经典角色通过Stable diffuison变成了真人，不知道读者里有多少人是火影迷，看看这些AI真人火影角色和你想象中的差不多吗？

先上图，然后再分享教程，看看我是怎么做到的。

一、把《火影忍者》动漫变真人

时间有限，我尝试生成了13位火影主角，一起来看看AI生成的火影真人长什么样子吧。

漩涡鸣人

动漫

Stable diffusion生成的真人效果

对比效果

春野樱

动漫

Stable diffusion生成的真人效果

宇智波佐助

动漫

Stable diffusion生成的真人效果

波风水门

动漫

Stable diffusion生成的真人效果

纲手

动漫

Stable diffusion生成的真人效果

宇智波鼬

动漫

Stable diffusion生成的真人效果

小南

动漫

Stable diffusion生成的真人效果

宇智波止水

动漫

Stable diffusion生成的真人效果

旗木卡卡西

动漫

Stable diffusion生成的真人效果

本文涉及模型、插件下载请扫描免费获取哦

其实仔细看的话，每个角色还或多或少存在一些问题，但我觉得总体上效果还是不错的。

大家如果还有想要我生成的动漫角色，欢迎留言或自行尝试。我下面会分享制作教程。

二、如何利用Stable diffusion生成真人？

1、准备工作

在动手制作之前，需要先准备一些必备的AI模型和图片资料。

1）先在Mac或者Windows端，安装好Stable diffusion，具体安装步骤，可以参考我之前写的教程

**虽然都能用，但在window上会比在mac上要快很多。**我还真的分别在Mac M2芯片电脑和Windows 4090显卡电脑上做了测试，用了一模一样的AI设置，一样的提示词，结果Mac出一张图大概需要1分20秒，而Windows 只用了14秒。

速度不一样，体验是完全不同的，想要很爽的玩转AI，更高效的出到自己喜欢的图，好显卡的加成非常关键。

2）准备一个比较偏向写实的AI模型，这里推荐用Chilloutmix，

3）安装好controlNet插件，可以帮助优化生成的细节，使得生成的图片更容易控制。
4）准备好你想要AI生成的动漫图片，建议提前裁切好尺寸，且尺寸不要大于1000px**，不然容易爆内存。然后把所有需要生成的动漫图片统一尺寸，且背景干净，这样可以减少后期改AI的设置项，会更方便一点。

2、制作步骤

制作方法其实不难，只需要几步就可以搞定，可能比较麻烦的就是结果会有一定的随机性，想要生成的效果好会有点碰运气。不过也是有方法可以改进的，我也会分享我自己实践过的一些更精准的方法。

1）利用Stable Diffusion的图生图功能来做。这个功能可以依据你提供的参考图作为作画方向，贴合图比较高。但只有参考图还不够，想要效果比较好，也需要比较精准的提示词。

其实文生图也可以，但可能会与你想要的偏差会比较大，我尝试后发现可能有些效果确实挺不错，但就是太不可控了。

2）**反推提示词。**提示词的部分是需要比较精准的描述你的参考图，包括图片上所有关于角色的特征描述，这个可能对很多人来说比较难。但没关系，咱们有办法可以解决。

利用Stable diffusion的反推提示词功能，这里会有2个反推提示词功能，稍微解释下：

• Interrogate CLIP 更擅长推理较为真实的图像，更注重画面内的联系，并生成的自然语言描述，自然语言可以理解为一句话的形式。

• Interrogate DeepBooru 对二次元的各种元素把握很好，更适合二次元动漫风格类的图像，可以对二次元图片生成标签，并给出分段形式的关键词。

这里因为是动漫转真人，所以推荐使用第2个反推提示词功能来得到提示词，但建议在它生成的基础上自己检查下哪些是需要的，哪些是要删掉的，哪些还需要添加。这里有个注意点是，不是提示词越多越好，而是越准确越好。

3）**增加画质和风格提示词。**在写好主体画面提示词后，还需要在提示词中加入画质提示词，以及可选的小模型对画面进行定向优化

这里给大家分享我用到的画质提示词，这个是可以复用的

(RAW photo, best quality), (realistic, photo-realistic:1.3), masterpiece, an extremely delicate and beautiful, extremely detailed, CG, unity, 8k, amazing, finely detail, ultra-detailed, highres, absurdres, soft light

如果你需要生成真人，还可以增加下面这些提示词

realistic,masterpiece,best quality,(detailed eyes and skin),extremely detailed eyes and face, beautiful detailed nose, beautiful detailed eyes,extremely detailed hair

4）**增加负面提示词。**还需要增加负面提示词，同样的，负面提示词也可以直接复用我写的

paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans, extra fingers, fewer fingers, ((watermark:2)), (white letters:1), (multi nipples), bad anatomy, bad hands, text, error, missing fingers, missing arms, missing legs, extra digit, fewer digits, cropped, worst quality, jpeg artifacts, signature, watermark, username, bad feet, {Multiple people}, blurry, poorly drawn hands, poorly drawn face, mutation, deformed, extra limbs, extra arms, extra legs, malformed limbs, fused fingers, too many fingers, long neck, cross-eyed, mutated hands, polar lowres, bad body, bad proportions, gross proportions, wrong feet bottom render, abdominal stretch, briefs, knickers, kecks, thong, {{fused fingers}}, {{bad body}}, bad-picture-chill-75v, ng_deepnegative_v1_75t, EasyNegative, bad proportion body to legs, wrong toes, extra toes, missing toes, weird toes, 2 body, 2 pussy, 2 upper, 2 lower, 2 head, 3 hand, 3 feet, extra long leg, super long leg, mirrored image, mirrored noise, (bad_prompt_version2:0.8), aged up, old,

5）其他基础设置

这里的生成算法对结果影响会比较大，我测试后发现对于动漫成长真人这个需求，用Euler a这个会比较好用。生成的步数，数字越大精细程度越高，但速度越慢。但也不是越精细效果就越好，建议20-30之间。

6）使用controlNet插件，对画面进一步调优

这里的插件使用属于比较进阶的用法，内容比较多，这里我先简单讲讲，后面有机会再详细说说。

这里对结果影响比较大的有预处理器，在选择的时候要具体情况具体分析，大家可以尝试下，一般深度（depth）和描边（lineaet）比较适合用到动漫这里。通过修改它的优先级和权重，可以调整插件对于结果的影响程度。

如果你不知道咋调，可以先按我这个配置做就好了。需要注意的是，预处理和模型是需要一一对应的。比如我预处理器选择了depth，那么模型也需要选择depth。这个深度算法会让生成的真人更具立体感。

3、制作经验分享

在用AI出图的过程中，我也积累了一些制作经验和你分享

1）**先测试方向正确性。**当把所有设置和提示词调整好了之后，先生成1-2张图测试看效果，如果和预期偏差比较多，那就检查下提示词还缺了什么，或者这个偏差是因为哪些提示词影响的，做一些调整。

比如我在生成小南的时候，会发现生成的图里，小南的头上没有白花，

那么我希望生成的画面需要有小花，就在提示词里增加”White flowers on her head“提示词，这样头上就能有小花了。

2）**修改配置参数。**如果发现生成的效果经过多次后依然效果不大好，可以考虑换采样方法和其他设置项，比如把采样改到线模式,这种模式能更好的识别图片边缘，细节会更像，坏处是可能会局限在特别小的细节里。

3）**批量生成更多图。**如果发现前面几张方向对了，那么就可以把生成的图片张数加多，我一般一次性生成30张，然后再来对比看效果。

4、注意事项

最后再分享一些可以帮助更容易生成图片的注意事项。

1）想要生成的人物好看，底图不要太差，如果发现生成的效果一直不满意，可以尝试换一个底图

2）动漫角色身上的贴身配饰不要太复杂，比如火影里在头发上有穿插的护额，生成的效果就不是太好控制

3）选择的动漫图片动作和角度最好正常一些，建议用正面

4）最好不要选以手为特写的图来生成，手的生成效果还是个迷，目前对于SD来说效果没有太好

5）图片大小最好在1000以内，不然容易爆内存

6）一开始测试效果的时候不要生成多张，先生成 1～2张看看方向对不对，然后再进一步多生成一些图，我一般在确定方向后喜欢 30 张一次去生成。如果是晚上睡觉前的话，可以一次性生成更多一点，比如一次性生成100张

总结

这篇文章我前后写了快4个星期，其实方法我很早就知道，但自己在实践过程中会遇到各种奇葩问题。一开始生成的图跟鬼一样，踩了很多坑，不过正是因为在过程中遇到的各种各样的坑，让我对于Stable Diffusion有了一个全新的认识，对它的各种功能原理和插件使用有了非常深度的理解。

为了得到文章里的这些图，我共输出了近万张图

这里直接将该软件分享出来给大家吧~有需要的扫描即可领取

1.stable diffusion安装包

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.SD从0到落地实战演练

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的stable diffusion资料我已经打包好，需要的点击下方插件，即可前往免费领取！