一张图片生成不同风格人物形象，AI换脸、写真，SD InstantID教程

最新推荐文章于 2024-10-13 21:11:07 发布

程序员王饱饱

最新推荐文章于 2024-10-13 21:11:07 发布

阅读量838

点赞数 15

分类专栏： Stable Diffuison应用教程 AI绘画文章标签：人工智能 stable diffusion AI作画 AI绘画 SD整合包

本文链接：https://blog.csdn.net/weixin_55154866/article/details/142134852

版权

AI绘画同时被 2 个专栏收录

249 篇文章 8 订阅

订阅专栏

Stable Diffuison应用教程

223 篇文章 2 订阅

订阅专栏

最近小红书技术团队InstantX的InstantID在GitHub杀疯了，国产“遥遥领先”了，无需花时间进行LoRA训练、不需要20张图片，仅需一张图片就可以生成不同风格的人物形象图片，以后再也不用花钱去生成AI写真了，妥妥的某鸭相机完美平替，在SD中使用体验下来个人感觉是比faceID和EasyPhoto效果要好的，对比包装好的AI相机软件可控性也更高。

图源官方

先看效果

原始图：灿烂明媚的笑容和高雅端正的气质的安妮·海瑟薇 Anne Hathaway

例：线条艺术

“prompt”: “line art drawing {prompt} . professional, sleek, modern, minimalist, graphic, line art, vector graphics” “negative_prompt”: “anime, photorealistic, 35mm film, deformed, glitch, blurry, noisy, off-center, deformed, cross-eyed, closed eyes, bad anatomy, ugly, disfigured, mutated, realism, realistic, impressionism, expressionism, oil, acrylic”

官方的火星Mars、丛林Jungle、霓虹灯Neon、充满活力的颜色Vibrant Color四种风格[1]，下文教程部分会分享更多官方prompt

Instant ID使用ControlNet和IP-Adapter的组合来控制扩散过程中的面部特征，由于InstantID需要使用两个ControlNet单元并且目前只支持XL模型，所以对电脑的显存要求比较大，本地是不考虑了，本文使用我之前推荐过的揽睿星舟云端部署平台来演示一下Instant ID在stable diffusion上安装全过程和使用经验分享。

启动实例

①点击【算力市场】
②可用区选择：根据价格和性能自行选择
③教程以「B4-4090-24G单卡」演示
④点击进入下一步

⑤创建实例，设置参数
-镜像选择：【全插件版】SD1.7+SDXL
-启动方式：建议手动启动
-网盘：建议挂载（平台内网盘）
-数据盘：可选择性挂载（可以选择256GB，够用了）
-数据集选择：sd-base
-预训练模型选择：sdxl-models
-高级配置-端口设置：可选择
⑥勾选“我已阅读和同意平台协议”，点击「立即创建」

等待启动，在「工作空间」点击进入查看详情

启动Stable diffusion

①启动成功，显示「运行中」，点击进入「Jupyter」

②选择「Terminal」

③复制粘贴启动命令（Enter回车）

④出现这个熟悉的IP地址就说明成功了，启动速度很快

⑤启动成功，回到「工作空间」-「打开调试地址」，开启webUI

InstantID使用

①选择模型，只要是XL模型就可以
这里我们用最基础的「sdxl/sd_xl_base_1.0.safetensors」模型演示
②随便写一段简单的提示词
更多风格prompt，官方提供的样式模板供参考[3]
例：模拟胶片

“prompt”: “analog film photo {prompt} . faded film, desaturated, 35mm photo, grainy, vignette, vintage, Kodachrome, Lomography, stained, highly detailed, found footage” “negative_prompt”: “painting, drawing, illustration, glitch, deformed, mutated, cross-eyed, ugly, disfigured”

③参数设置[4]
（详见官方说明：https://github.com/Mikubill/sd-webui-controlnet/discussions/2589）
-CFG建议：4～5（根据不同模型，使用比正常 CFG 稍小的 CFG 比例）
-Steps建议：20～40

-分辨率不建议：1024*1024
⚠️如果将宽x高设置为1024 x 1024，则有更高的机会生成水印、徽标。无法通过在否定提示中添加徽标水印关键字来纠正此问题。您可以通过设置其他宽度 x 高度值来避免这种情况。

④第1个ControlNet单元设置
这个单元控制生成人物的脸部特征
-拖入一张参考图片
-点击「启用」
-可以打开「Pixel Perfect」和「Allow Preview」
-选择「Instant_ID」
-预处理选择「instant_id_face_embedding」
-模型选择「ip-adapter_instant_id_sdxl [eb2d3ec0]」（第一次使用要先点击右边的刷新图标刷新一下）
-点击爆炸图标可以预览所识别出的关键点
-Weight权重可以少一点，你想要相似度更高也可以设置为「1」或者更高
-其他参数保持不变

-如果想要相似度更高，可以勾选下面的「ControlNet is more important」

⑤第2个ControlNet单元设置
这个单元控制生成人物的姿势，包括脸部朝向和肢体动作
-拖入一张参考图片
-点击「启用」
-可以打开「Pixel Perfect」和「Allow Preview」
-选择「Instant_ID」
-预处理选择「instant_id_face_keypoints」
-模型选择「control_instant_id_sdxl [c5c25a50]」
-点击爆炸图标可以预览所识别出的关键点
-Weight权重可以少一点，你想要相似度更高也可以设置为「1」或者更高
-其他参数保持不变