AI绘画是否可以做到用已有的角色图片（正面）去生成其他的姿势？

最新推荐文章于 2025-02-13 11:00:35 发布

AI绘画百宝箱

最新推荐文章于 2025-02-13 11:00:35 发布

阅读量1.8k

点赞数 26

本文链接：https://blog.csdn.net/m0_59162559/article/details/142916700

版权

举个例子：

输入图：

姿势参考图：

输出图：

可以看到，AI生成的图片，从正面输入图变成了侧脸图。

实现这个功能的，是InstantID插件。这是小红书和北大团队合作的一个AI工具，可以作为插件部署在Stable
Diffusion上。（文末扫码可免费获取插件安装包）

一、instantID在本地的部署和安装

如果你的电脑显卡超过16G，甚至是24G，那么恭喜你，可以在本地安装部署。

当然了，如果只有12G，也不是不可以用，只不过不能流畅的使用全部功能。本文的换脸还是能跑得动的。

（一）WebUI

1、升级ControlNet，至少要到1.1.440版。

2、下载ControlNet使用的模型，模型分两大类。

https://www.123pan.com/s/ueDeVv-v1uI.html

（1）ControlNet模型

分别是ip-adapter_instant_id_sdxl.bin和control_instant_id_sdxl.safetensors。

下载后拷贝至extensions\sd-webui-controlnet\models，比如我的WebUI安装在E:\sd-webui，就需要拷贝至：

E:\sd-webui\extensions\sd-webui-controlnet\models

PS，也可以拷贝至

E:\sd-webui\models\ControlNet

（2）面部识别模型

共计5个，拷贝至以下目录（我的WebUI在E:\sd-webui）

E:\sd-webui\extensions\sd-webui-
controlnet\annotator\downloads\insightface\models\antelopev2

（二）comfyUI

1、先在comfyUI管理器安装节点

搜索instantID，找到ZHO-ZHO-ZHO大神的插件。

然后进行安装。

这个插件需要大量的模型，这里装完只是第一步。

2、相关模型安装

（1）IP-Adapter模型

IP-Adapter是腾讯团队开发的适配器模型，能和ControlNet很好的组合使用，控制人物的姿态。

共有两个，分别是SD1.5和SDXL使用

拷贝至ComfyUI\models\instantid

ip-adapter.bin

ip-adapter_sdxl.bin

需要注意的是，有些SDXL大模型因为训练集的原因，也需要使用ip-adapter.bin，遇到报错提示时可以更换一下IP-Adapter模型。

（2）ControlNet模型

拷贝至ComfyUI\models\controlnet

control_instant_id_sdxl.safetensors

（3）人脸识别和分析模型

antelopev2模型，安装路径：ComfyUI\custom_nodes\ComfyUI_InstantID\models\antelopev2

这组模型和其他换脸插件的insightface模型是通用的，但多两个，insightface模型安装路径：ComfyUI\models\insightface

安装完这些模型，最基本的功能就可以跑起来了，如果你的显卡小于16G，就不用再装其他模型了，因为跑不动！

（4）模型下载

https://www.123pan.com/s/ueDeVv-WYuI.html

二、InstantID在WebUI下的使用

揽睿星舟内置了Instantid用的到的所有插件和模型！

我们选择SD1.7全插件版开机，启动WebUI界面后，可以直接进入配置界面开始使用。

在ControlNet的配置界面，我们需要配置两个页面。

第一个页面：

先上传需要输出的脸型原型，比如一个非常熟悉的美少女。

注意相关参数。

（1）选择启用。

（2）类型选择Instant_ID

（3）预处理器选择instant_id_face_embedding

（4）模型选择ip-adapter_instant_id_sdxl，如果模型这里为空或者报错，则需要检查是否将下载好的模型拷贝到指定位置。

第二个页面：

这里上传想要摆拍的姿势，可以不是需要换脸的画面。instantID会分析这张照片的姿势，然后把第一张的脸型按照这个姿势适配，但不是简单的换脸，除了姿势外，完全不同，相当于重新生成。

（1）注意如果你的显存不足16G，那么这里要选择低显存优化，否则会爆显存。

（2）和第一个页面一样，选择Instant_ID。

（3）预处理器选择instant_id_face_keypoints，模型选择control_instant_id_sdxl。

4、输入提示词，然后点击“生成”。

需要注意的是，提示词不要太复杂，过于复杂的提示词容易使Instant_ID失效。

比如，我输入提示词：

a girl,HDR,UHD,8K,best quality,masterpiece,ultra-fine painting,extreme detail
description,Professional,summer dress,light_smile,

是不是很面熟？

再换一张姿势参考图：

提示词不变，生成如下：

好了，让我们看看一个长得很像神仙姐姐的女孩！

三、InstantID在comfyUI下的安装和使用

ComfyUI对显存的优化更好一些，因此强烈推荐在ComfyUI下使用InstantID插件。

创建基础工作流。

添加节点–InstantID–Apply InstantID。

节点创建好后，分别和大模型、采样器连接。

InstantID处，拖出Load InstantID Model，模型选择ip-adapter.bin（或ip-adapter_sdxl.bin）。

insightface处，拖出InstantID Face Analysis，建议选择CPU。

control_net处，拖出ControlNet模型，选择control_instant_id_sdxl.safetensors

image处连接加载图片，此处连接的是脸部照片。

正反提示词分别接到提示词。

image_kps处连接加载图片，此处连接的是参考姿势，如半身、侧身，生成的图片会在提示词的基础上，参考本图片的姿态。

放一张完整的工作流（基础版）。

1、一个特别像仙女姐姐的美人鱼

提示词：

1girl, underwater, afloat, soft natural lighting, orange hair, off-shoulder
dress, aesthetic, film grain texture,analog photography aesthetic,visual
storytelling, dynamic composition,looking at viewer,eye contact,

2、一个很像范爷的女生

提示词：

26 y.o. alt girl, eyeshadow, long eyelashes, (messy hair:0.6), film
photography aesthetic, long black hair, dynamic composition, skin texture,
full body, sharp focus, hard shadows

文章使用的AI绘画SD整合包、模型、InstantID插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

GPT的定义与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你解决一切问题？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高技巧-GPT高情商沟通
GPT深度玩法应用场景
GPT高级角色扮演-教学老师
GPT高级角色扮演-育儿专家
GPT高级角色扮演-职业顾问
GPT高级角色扮演-专业私人健身教练
GPT高级角色扮演-心理健康顾问
GPT高级角色扮演-程序UX/UI界面开发顾问
GPT高级角色扮演-产品经理
GPT高级技巧-游戏IP角色扮演
GPT高级技巧-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人医生
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿建议
GPT实操练习-资产配置
GPT实操练习-教学课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-面试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、建议
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及合并实战
GPT提升工作效率-Excel生成复杂任务实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调整PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动回复
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述，AI绘画的应用领域，PAI绘画与传统绘画的区别，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。