Stable Diffusion【应用篇】【角色一致性】：如何从不同视角创造一致的人物角色？

AI极客菌

已于 2024-12-31 18:07:17 修改

阅读量1.5k

点赞数 21

文章标签： stable diffusion AI作画人工智能 midjourney AIGC 人工智能作画 ai

于 2024-07-12 14:34:30 首次发布

本文链接：https://blog.csdn.net/2401_85688943/article/details/140378328

版权

大家好我是极客菌

在艺术创作领域，保持人物角色的一致性至关重要。然而，如何从不同视角创造一致的人物角色往往是一项挑战。如今，借助Stable Diffusion的强大功能，你只需一键操作，就能轻松实现这一目标。本文将带你深入了解Stable Diffusion的角色一致性功能，助你轻松掌握这项前沿技术。
在这里插入图片描述

Stable Diffusion是一款基于深度学习的图像生成模型，它能够在没有任何人类指导的情况下生成高质量、逼真的图像。与传统的图像生成技术相比，Stable Diffusion具有更高的生成质量和更快的生成速度。

您是否需要从不同的视角创建一致的 AI 角色？例如下面的图片效果。

一. 实现原理

制作一张同一个人物角色不同的视角网格图片，如下图所示。

使用ControlNet的Canny SDXL控制模型生成人物角色轮廓，如下图所示。

然后使用 IP Apadter FaceID Plus v2 从另一个参考图像复制面部。由于IP Apadter FaceID仅复制面部。它可以从参考图像中精确提取面部特征，因此可以准确地将面部转移到不同的视角。

二. 制作方法

【第一步】：大模型的选择

这里推荐使用：ProtoVision XL-High Fidelity-No Refiner，版本v6.6.0。

模型下载地址（需要的小伙伴可以文末自行扫描获取）

LiblibAI

【第二步】：提示词的编写

我们以上图中第一张图片为例来进行说明。

正向提示词

Prompt：character sheet, color photo of woman, white background, blonde long hair, beautiful eyes, black shirt

提示词：人物表，女人的彩色照片，白色背景，金发长发，美丽的眼睛，黑色衬衫

反向提示词

disfigured, deformed, ugly, text, logo

相关参数设置如下：

控制类型：选择"IP-Adapter"
预处理器：ip-adapter_face_id_plus
模型：ip-adapter-faceid-plusv2_sdxl
控制权重：0.7
引导介入时机：0
引导终止时机：1

【第四步】：使用 ADetailer 自动修复脸部

由于图片中人脸较多，需要开启ADetailer修复脸部。模型选择:face_yolov8n.pt

【第五步】图片的生成

点击【生成】按钮，我们来看一下最终生成的图片效果。

三. 相关说明

（1）这里使用的ControlNet canny和Ip Adapter控制器都是基于SDXL的，所以大模型的选择必须是基于SDXL的大模型。

（2）由于网格呈现的主要是人物头像，所以上传的图片最好也是人物肖像照片。全身照出来的效果可能并不是特别理想。

（3）自由定制化：在上面的制作过程中，我们只需要更改Ip Adapter的图片即可，也可以结合自己的需求修改正向提示词。

（4）如果脸部与图片不符

增加IP Adapter的控制器权重
降低 Canny ControlNet 的控制权重和引导终止时机

本文转自 https://mp.weixin.qq.com/s/p3BTiseKSJc0elSsGF1Wzg，如有侵权，请联系删除。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
在这里插入图片描述