用Stable Diffusion生成同角色不同pose的人脸

APlayBoys

已于 2024-03-14 14:11:08 修改

阅读量2.3k

点赞数 16

分类专栏： AIGC应用文章标签：计算机视觉深度学习 AIGC stable diffusion AI作画

于 2024-03-14 13:34:29 首次发布

本文链接：https://blog.csdn.net/qq_17827079/article/details/136707881

版权

随着技术的不断发展，我们现在可以使用稳定扩散技术（Stable Diffusion）来生成同一角色但不同姿势的人脸图片。本文将介绍这一方法的具体步骤，以及如何通过合理的提示语和模型选择来生成出更加真实和多样化的人脸图像。

博客首发地址：用Stable Diffusion生成同角色不同pose的人脸 - 知乎

1.拼模版

首先，我们需要将同一个人的不同姿势的照片按照相应的姿势拼接在一起，形成一个模版。这样可以为后续的生成过程提供参考。

本照片用sd生成

2.获取轮廓

利用拼接好的模版图像，我们可以轻松地获取到人脸的轮廓信息，这对于后续的处理步骤至关重要。

3. 生成监督图

接下来，我们可以利用一些预训练好的模型，如 controlnet 中的 openpose 模型或 depth 模型，来生成对应的 po

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

APlayBoys

关注关注

16
点赞
踩
25

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

SD扩展 SadTalker 生成图片数字人

Mr数据杨

07-06

2978

Heygen和D-ID等照片转视频的工具，都需要在线付费使用。本次介绍一个SadTalker数字人。SadTalker有多种使用方式，包括完整安装程序和stable diffusion插件模式。安装程序操作较繁琐，因此推荐stable diffusion插件模式。

基于Diffusion models的图像编辑最新研究成果：神奇的cross attention机制

沉迷单车的追风少年

09-09

2304

参与评论您还未登录，请先登录后发表或查看评论

Stable Diffusion【应用篇】【角色一致性】：如何从不同视角创造一致的人物角色？

m0_59162248的博客

06-13

1852

您是否需要从不同的视角创建一致的 AI 角色？例如下面的图片效果。

【SD】一致性角色 - 同一人物不同姿势 - 2

资深网络工程师

01-01

1437

打开ip-adapta 导入你想融合的图片。首先生成4张不同姿势的图片。

AI绘画教程：如何用Stable Diffusion始终画同一个人？

weixin_55154866的博客

07-03

874

AI绘画每次生成图片的时候，都是随机的，也就是如果我想画三幅画：一个女孩在跑、一个女孩在读书、一个女孩在吃饭，三张图片中的女孩相貌是不一样的。如果我们想画同一个人在跑、在读书、在吃饭的多张照片，该怎么办呢？这个时候，我们就需要让AI识别出这个女孩的相貌特征，记住她，然后以后每次生成图片的时候，就可以保持是同一个人了，如下图的效果。这个过程就叫做Stable Diffusion的模型训练。

stable-diffusion 生成同一人物不同动作的尝试（基础动作融合）

m0_74942241的博客

05-23

1822

开发游戏中，美术资源是一大块成本。而游戏中包含很多角色，每个角色需要表现出不同的动作，因此一直在研究的一个课题“是如何用AI去生成同一个角色的多种动作”，此前也尝试过不少方法，研究之路继续进行，以下是一些以前的研究连接。本次是尝试修改stable-diffusion的生成过程，使得模型可以记录一部分角色信息，从而为后续生成同个角色的其他动作的图像提供可能性。

AI绘图的场景应用：文生图、图生图

qq_41314882的博客

03-15

5165

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

【CVPR 2023的AIGC应用汇总(7)】face相关（换脸/编辑/恢复） diffusion扩散/GAN生成对抗网络方法...

idol24的博客

05-08

1311

【CVPR 2023的AIGC应用汇总(6)】医学图像diffusion扩散/GAN生成对抗网络【CVPR 2023的AIGC应用汇总(5)】语义布局可控生成，基于diffusion扩散/GAN生成对抗【CVPR 2023的AIGC应用汇总(4)】图像恢复，基于GAN生成对抗/diffusion扩散模型【CVPR 2023的AIGC应用汇总（3）】GAN改进/可控生成的方法10篇【CVPR 202...

Stable Diffusion【真人模型】：人脸特美的人像摄影大模型wuhaXL_realisticMixV3.0

mate1357的博客

07-01

1695

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

当下最强的 AI art 生成模型 Stable Diffusion 最全面介绍

热门推荐

西乔——神秘的程序员

08-26

5万+

目录模型生成效果展示（prompt 全公开）如何注册 Stable Diffusion 使用SD（dreamstudio.ai ）的收费标注如何SD 提供哪些参数可以设置如何使用种子来改进一张作品我用 SD 创作的图片著作权如何归属，可以拿来商用吗？Stable Diffusion 背后的研发团队SD 是如何训练出来的？SD 是开源的吗？SD 未来有哪些可期待的亮点附录：一些有用的资源从本月初开始...

Stable Diffusion算法、结构全流程概述

lanlin的博客

02-22

1564

Stable Diffusion能力强、功能多、插件广，本文拟概述SD的全流程，方便梳理算法各结构的关系。

AI绘画Stable Diffusion ，3种方法精确控制人物姿势，总有一种适合你

A13531922961的博客

04-24

2415

Stable Diffusion: 生成人物不同的表情和姿态的各种方法

张伟的专栏

04-18

4727

原文：百度安全验证。

Stable Diffusion 系列教程 | 图生图基础

专注于人工智能的算法与应用

08-20

3651

图生图基本界面，图生图导入步骤，图生图巧用随机种子，图生图拓展应用，真人转动漫风格实操

Diffusion Facial Forgery (DiFF) ——一个新的大规模人脸伪造检测数据集

知来者逆的博客

06-01

2794

作为数据收集工作的一部分，我们从名人数据集（如 VoxCeleb2 和 CelebA）中精心挑选了 1,070 位名人的图片。这些名人性别均衡，涵盖不同年龄段。每位名人都从在线视频和现有数据集中挑选了约 20 张图片，共计 23,661 张图片。下一步是生成人脸图像。以往的研究表明，这两者之间存在正相关关系：输入提示的质量越高，生成图像的质量就越好。在此基础上，我们设计了多样化的精确提示，以帮助使用条件扩散模型（CDM）生成高质量的图像。

计算机视觉——基于树莓派的YOLO11模型优化与实时目标检测、跟踪及计数的实践

知来者逆的博客

05-01

1575

YOLO11模型是专门为边缘设备优化的目标检测模型，与YOLOv8相比，它在显著降低模型复杂度（最多降低37%）的同时，仍保持了较高的检测精度（约85%的平均精度均值）。这种优化使得YOLO11能够在资源受限的树莓派上实现高效的实时目标检测，为边缘设备上的复杂计算机视觉任务提供了可能。其轻量级的模型结构和高效的推理性能，使其成为在树莓派上部署目标检测应用的首选模型之一。

Python项目--基于计算机视觉的手势识别控制系统

exlink2012的专栏

04-23

3547

随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。

目标检测原理简介

blanokvaffy的博客

04-26

689

目标检测是一类计算机视觉任务，简单来说，目标检测可被定义为在计算机中输入一张图像，计算机需要找出图像中所有感兴趣的目标（物体），确定它们的类别和位置，如图一所示。目标检测是计算机视觉领域的核心问题之一，相较于最原始的将整张图片分类为某一类别，目标检测不光可以感知图像中物体的类别，还可以提取感兴趣物体在图像中的位置信息，并将图片区分为前景和背景。随着科技的进步，目标检测算法广泛的利用深度学习作为基础，在近几年有了飞速的发展。目前，目标检测算法被广泛的应用于智能驾驶、安防摄像头、工业上的裂纹污损检测等工作。

计算机视觉的未来发展趋势

最新发布

weixin_62200515的博客

05-02

546

在医疗诊断、自动驾驶和智能设备等领域，多模态集成将使视觉系统能够整合来自非视觉源的数据，从而提升决策的准确性和可靠性。生成对抗网络（GANs）和扩散模型（Diffusion Models）等技术将继续在图像生成、图像修复、风格迁移等领域发挥重要作用。边缘人工智能结合了人工智能和边缘计算，使得数据在接近源头的地方进行处理，避免了将所有数据上传到远程云服务器的需求。三维计算机视觉技术将为虚拟现实（VR）、增强现实（AR）和元宇宙等领域提供更精准的空间感知能力，推动沉浸式体验的发展。

如何使用stable diffusion生成数据

02-28

### 使用 Stable Diffusion 模型生成图像的数据生成教程 #### 3.1 安装依赖库为了使用 Stable Diffusion 模型生成图像，首先需要安装必要的 Python 库。可以通过 pip 来完成这一操作。 ```bash pip install torch torchvision torchaudio gradio diffusers transformers accelerate ``` #### 3.2 加载预训练模型加载由 Hugging Face 提供的预训练 Stable Diffusion 模型是非常简单的一步。这一步骤会初始化一个用于后续推理的管道对象。 ```python from diffusers import StableDiffusionPipeline import torch model_id = "CompVis/stable-diffusion-v1-4" device = "cuda" if torch.cuda.is_available() else "cpu" pipeline = StableDiffusionPipeline.from_pretrained(model_id, use_auth_token=True).to(device) ``` #### 3.3 配置参数并生成图像配置一些基本参数来控制生成过程中的行为，比如提示词（prompt）、步数（num_inference_steps），以及指导权重（guidance_scale）。之后调用 `__call__` 方法执行实际的图像生成工作。 ```python prompt = "A beautiful landscape with mountains and lakes under a clear sky." image = pipeline(prompt=prompt, num_inference_steps=50, guidance_scale=7.5)["sample"][0] image.save("output_image.png") ``` 上述代码片段展示了如何利用指定的文字描述作为输入，让模型根据该描述创建一张对应的图片[^1]。 #### 3.4 利用 Gradio 构建交互界面为了让用户更方便地测试不同文本到图像转换的结果，可以借助 Gradio 创建一个简易的 Web UI 接口。这样不仅提高了用户体验度，同时也便于分享成果给更多的人群查看。 ```python import gradio as gr def generate_image(text_prompt): image = pipeline(prompt=text_prompt, num_inference_steps=50, guidance_scale=7.5)["sample"][0] return image gr_interface = gr.Interface(fn=generate_image, inputs="text", outputs="image") if __name__ == "__main__": gr_interface.launch() ``` 这段脚本定义了一个函数 `generate_image()` ，接受一段文字作为参数并通过之前设置好的 pipeline 进行处理得到最终产物；接着构建了 Gradio 的接口实例，并指定了输入输出形式为纯文本和 PNG 图片文件。