一键把二次元老婆拉进现实（Stable Diffusion进阶：ControlNet LineArt模型）

大家好我是极客菌！！！

操作，就能将二次元老婆拉进现实，成为你的专属女友。本文将带你深入了解ControlNet LineArt模型的使用方法，助你轻松实现这一梦想。

ControlNet LineArt模型是Stable Diffusion的最新进阶版本，它能够将二次元动漫人物以LineArt的形式生成现实中的照片。这一功能的出现，让二次元老婆瞬间变得触手可及，成为现实中的女友。

其实在很早之前我曾和我的爸妈说过我找了一个喜欢玩cos的女朋友，并借此申请了一些经费用于购买服饰啥的。

当然我没有说谎，我真的拿去买新衣服了，也是买给我的老婆“们”的。

我也用了一些Stable Diffusion的小技巧画出了一张张cos图，虽然每张图片长得都有丢丢不太一样不过好在我爸妈那边是过关了。

当然后续还是得学习一下怎么炼模型好让自己的图片产出不要差别太大，但是这个不是今天的主题。

前段时间可能大伙都听过了海贼王的真人版开播

有很多人觉得这是难得的真人比较符合动漫形象的漫改，而在更早期就有人用AI制作出了他们心目中海贼王在现实里的形象。

大部分是利用类似于Lora不断地喂养素材，让AI能够更好地画出一个“coser”而不是本人。

而今天的内容则是学习如何利用ControlNet LineArt模型及其应用原理，从而实现真人化转绘、线稿填色、三维渲染等以前我想都不敢想的操作。

看到这里相信各位都已经迫不及待准备将“老婆们”带进三次元世界，那我也就不卖关子让我们开始今天的学习吧！

---

图生图转绘

到目前为止学会的知识点中直接用图生图功能进行三次元转绘是最简单的方法，也就相当于AI在原图的基础上进行关键元素的抽取，然后根据这些元素再进行重绘。

而像是一些模型例如我比较喜欢的majic

这类模型都会喂养大量的真实人物图片，AI就可以根据这些图片绘画出十分贴近现实的人物图像了。

当然这步骤也很简单，只需要跟着我操作就行。

第一步：挑选一张合适的角色原图

将这张图导入图生图中，这个时候可以自己填写提示词或者利用DeepBooru反推功能进行提示词的反推。

又或者可以用WD1.4 标签器这个插件进行提示词反推，不过记得删改那些觉得不合适的提示词。

第二步：选择合适的模型

• 像是MajicMix Realistic适合东亚面孔以及年轻的女性，就很适合绝大部分符合东南亚审美的角色。

• 而Realistic Vision则适合西方面孔以及男性角色，会显得比较硬朗的那种。

• A-Zovya Photoreal则适合非亚洲面孔以及一些少数族裔面孔。

第三部：参数的调整

因为是重绘，所以下方的重绘幅度不适合过高（小于0.5），之后点击生成就可以得到一份“三次元”写真了！

这么看下来效果其实还ok，不过图生图这么用还是有些不足的地方，最直观的就是图片清晰度不够从而细节方面有些对不上号。

例如这个椅子、发夹、胸前的头发等，如果想要让生成的结果更符合预期，那么还得给AI来点猛的。

ControlNet LineArt

ControlNet这东西蛮早就学习过了，在后续其他知识点的学习运用中也不止一次地出现，究其原因还是太好用了。

ControlNet可以将图像中人物的姿势、画面细节等东西提炼出来塞给AI，目前的ControlNet有着18种控制类型以及数不清的新模型和预处理器。

而这篇文章的主力也就是之前提起过的老朋友-LineArt线稿，这功能本质上是一种基于边缘萧条的图像控制引导。

也就是将一幅画的人物轮廓等画成一张线稿图，然后在根据这幅线稿图重新绘画，这样就起到了固定形体和细节特征。

来到下方的ControlNet后选择启用，在图生图中不需要再单独上传图像，如果需要的话也可以上传。

选择Lineart线稿并且选择动漫线稿提取，其余的参数就不变动了，直接点击生成。

在有了线条的指引之后可以看出AI绘画的图片更加接近原作的效果。

而在上面选择了动漫线稿的预处理器可以看出其绘画出来的效果是这样的：

点击下方预处理器右边爆炸的按钮

而不同逻辑的预处理器识别线条也会有所差异，二次元转真人选择lineart_anime就对了，选择去噪的那个则会让线条更精细些。

如果是从真实照片中提取线条就选择Realistic，这一般用于真人转动漫的绘画。

Standard和Invert一般用于真正的白底黑线“线稿图”，这两个起到反色的作用，将白底黑线的线稿图转化为AI可以识别的黑底白线。

而Coarse则是可以让AI有更多创作空间，因为这个选项会让线稿没那么细致，AI就可以自己发挥了。

IP-Adapter

如果就到此结束今天的内容就有点少了，对于二次元角色而言有着多套衣服是很正常的事情，而这个全新的IP-Adapter控制模型也就是这一部分内容的主角。

这个IP-Adapter是由腾讯AI实验室开发的图片生成项目

在以往的学习中往往只能通过提示词的方式来向AI传递一些内容方面的信息，图生图功能严格意义上来说更像是复制色彩上的相似性。

而IP-Adapter则会真正地去理解这张图片的含义，并用学习到的东西去微调输出的结果，从而让结果无论是色彩、形象上都更像输入的那张参考图。

当IP-Adapter与其他模型组合起来的时候就可以起到“画风迁移”的效果，接下来看一下演示的效果就知道了。

第一步：进入到文生图，在ControlNet的第一个窗口中导入想要制定的风格参考图

控制权重和引导终止时机一般设置在0.8会比较好，这样AI就不会过度发挥

第二步：打开第二个ControlNet Unit将角色原图导入进去

第二个Unit还是选择LineArt就可以了

第三步：选择与原图画风相似的模型

大部分二次元模型都可以，这个看自己选图的结果。

第四步：输入提示词，然后点击生成。

提示词中可以适当补充与该灵感相关的描述，例如我上面例图中绿色，白毛等等。

这里我借用原教程作者演示的图片，我发现目前而言LineArt与IP-Adapter结合的话像是作者例图的纯白背景人物图会比较不容易出错。

也就是白色的背景加上色调没那么杂乱的类似于人物设定图的比较好生成，而我尝试了几次用的图颜色都比较丰富并且结果也不稳定，当然也可能是我自己操作漏了或者什么情况，这个还需要我再研究研究。

看到这里可以发现其实IP-Adapter像是一个一键换肤的功能，可以帮助二次元角色进行风格的更换：

今天的内容就到这里结束啦！

主要是一个LineArt和IP-Adapter的学习使用，当然后面还有一小部分我放在下篇文章中去学习。

在LineArt将二次元图像转换为三次元之后就可以拿去超分放大，这样一来细节不足的地方也就可以弥补上了。

那么大伙下篇笔记见，拜了个拜！

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。