超详细 | 一文搞懂PuLID FLUX人物换脸&风格迁移(文末领模型+工作流)

于 2024-10-10 14:43:11 发布
阅读量267 收藏 7
点赞数 3
文章标签： stable diffusion 人工智能 人工智能作画 AIGC flux ai AI作画
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/text2201/article/details/142820993
版权

大家好我是小王同学！！！上篇我们说到FLUX1.1Pro强势来袭，新模型应当有新生态支撑，这样才走得远，走得稳。

我们知道FLUX之前推出了ControlNet的几个控制生图方式：canny、deth、Hed粗线条、openpose四个预处理器及模型，来辅助控制FLUX的生图结果，之前小编也通过comfyui搭建了对比工作流，感兴趣的可以去玩玩试一试。

关于PuLID

后来由字节开发PuLID人物一致性,有点像之前腾讯开发的IP-adapter，其用法是在Comfyui中通过工作流使用(工作流文末自取)。

而最新的模型是由字节最新发布的PuLID-FLUX-v0.9，以原来为SDXL开发的PuLID为基础，为适配FLUX.1在Comfyui中发布的风格迁移和人物换脸模型。

但是目前看，风格迁移差点意思，目前人物换脸，是非常不错的，加上FLUX的摄影生图本来就很好看，出图效果也是非常好的。

（需要相关模型的同学可自行扫描获取）
在这里插入图片描述

PuLID在Comfyui使用

使用PuLID最重要的是下图这4个节点，这四个节点怎么安装？

在这里插入图片描述

关于安装这个步骤，我在公众号看到很多文章都只说了个大概，最最最关键的点没有清楚的讲，特别是EVA Clip这个节点，这个节点需要一个模型，模型没有安装正确，你就没办法用。我在经过查阅很多资料，目前已经解决这个问题，请按照我的步骤操作，就不会报错。

第一步：安装插件

需要安装节点插件ComfyUI-PuLID-Flux，可通过ComfyUI插件管理器Git安装，安装完成后重启Comfyui即可。

ComfyUI-PuLID-Flux插件 （需要相关模型的同学可自行扫描获取）在这里插入图片描述

第二步：下载模型

模型一

在工作流中，我们需要用到Pulid_flux_v0.9.0这个模型，可通过提供下载地址下载，也可文末自取。

模型放置到目录**/ComfyUI/models/pulid/**下，如果没有，可按照路径手动新建一下文件夹即可。

模型下载地址：https://huggingface.co/guozinan/PuLID/blob/main/pulid_flux_v0.9.0.safetensors?download=true

模型二**（重点模型）**

这个模型非常重要，就是上面说到的“EVA Clip这个节点”需要用到的模型。

在工作流中EVA Clip这个节点需要用到“EVA02_CLIP_L_336_psz14_s6B.pt”这个模型。

这个模型会在首次运行时自动下载到“huggingface缓存目录”(科学网络畅通)，但是，很多时候是自动下载不了的，由于各种原因，我在Github上也看到很多人因为这个模型，整个工作流都用不了。经过尝试很多次，最后通过手动下载完成使用。

**但是手动下载放哪呢？**以前我们知道对应模型放置在对应的文件夹就行，但是这个是要下载到“huggingface缓存目录”，是不是很奇怪？缓存目录？如果从字面意思，你放到对应的路径中，也是用不了的，这个我尝试很多次，实在是头疼。

但是经过查阅资料，和一些博主的分享，通过最终尝试，下面说的这种方法是有效，测试可以用的。

模型下载到本地，放置在Comfyui根目录下的huggingface缓存，即： Comfyui/.cache/huggingface/hub/models–QuanSun–EVA-CLIP/snapshots/11afd202f2ae80869d6cef18b1ec775e79bd8d12/EVA02_CLIP_L_336_psz14_s6B.pt

在这里插入图片描述

这个路径，如果模型自动下载不了，需要手动创建。

放好这个模型后，需要在Comfyui/.cache/huggingface/hub/models–QuanSun–EVA-CLIP下再创建一个文件路径：refs/main

这里的“main”文件，可新建一个文本文档，文件里面输入内容:11afd202f2ae80869d6cef18b1ec775e79bd8d12，保存-去掉文件后缀即可。

在这里插入图片描述

模型三（其他模型）

关于其他涉及到的模型，只要是你科学网络打开，在第一次运行时候基本能自己自动下载，这个就不要大家操心了。

如果你没有科学上网，文末自取，模型和对应的模型路径我会打包好放一起。

第三步：下载工作流

在这里插入图片描述

生图效果展示

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

大图效果展示

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

AIGC小王
关注
基于Pulid-Flux一致性换脸工作流
10-04
基于Pulid-Flux一致性换脸工作流
AI摄影电商工作流+Pulid+facerestore
06-04
解密一个AI影楼的工作流 你可能刷到过这种AI写真直播间 定制他需要刷一个热气球或者一辆跑车 但AI写真生成只需1分钟 这种效率让他们似的赚的盆满钵满 所以我试着搭配这套工作流 在liblib网站找到最新的摄影写真XL大...
PULID D102语音王资料
11-26
【PULID D102语音王资料】是一款专为D102设备设计的语音增强软件包，其核心功能是提升用户在使用设备时的语音体验。通过解压缩此文件，并将其中的内容复制到SD卡中，用户可以享受到优化过的语音识别、播报和服务。...
Stable Diffusion绘画 | 如何做到不同动作表情，人物角色保持一致性(上篇)
Leo-Fighting的博客
10-05 660
由于 SD 具有强大的可控性，在固定人物角色方面，SD 是远超 MJ 的，其中最好用，也是最优先的方法就是训练一个自己专属的角色模型，例如之前使用秋叶训练器得到的 LoRA模型。
Stable Diffusion绘画 | 签名、字体、Logo设计
最新发布
Leo-Fighting的博客
10-09 531
目前，只使用了一个电商的LoRA来生成上方的图片，我们还可以继续添加符合该场景调性的LoRA进行互相搭配。点击「生成」，就能得到具有中国特色的水彩画的。第1步，使用 PS（小白推荐使用。
在Stable Diffusion WebUI中安装SadTalker插件时几种错误提示的处理方法
m0_60659514的博客
10-04 577
比如我在安装SadTalker时，就遇到很多问题，一度放弃了，后来查了一些网上攻略，自己也反复查看日志，终于解决，不吐不快。一、在Stable Diffusion webui中安装SadTalker插件后，重启Stable Diffusion WebUI，在界面中没有出现SadTalker标签。经过修改后，再次启动WebUI，终于能看到SadTalker标签了，选择图像，选择声音文件，调整参数，生成，程序终于欢快地跑起来了。二、插件运行过程中，前端视频生成框中提示Error(错误)，过程中止。
Stable Diffusion 常用大模型及其特点
程序猿视角
10-05 925
综上所述，SD的常用大模型种类繁多，各有特点。用户可以根据具体需求选择合适的模型进行图像生成或相关任务的处理。
Stable Diffusion绘画 | AI 图片智能扩充
Leo-Fighting的博客
10-07 405
第一轮扩充得到的图片，两边的扩充，接缝明显，而且色调差异大，非常不自然。来到「文生图」页面，输入固定的起手式提示词。，选择一个与加载图片相对一致的大模型。现在先进行宽度扩充，扩充为。
用 LoRA 微调 Stable Diffusion：拆开炼丹炉，动手实现你的第一次 AI 绘画
Hoper-J的博客
10-01 1889
总得拆开炼丹炉看看是什么样的。这篇文章将带你从代码层面一步步实现 AI 文本生成图像（Text-to-Image）中的 LoRA 微调过程，你将： - 了解 **Trigger Words**（触发词）到底是什么，以及它们如何影响生成结果。 - 掌握 LoRA 微调的基本原理。 - 学习数据集的准备与结构，并知道如何根据需求定制自己的数据集。 - 理解 Stable Diffusion 模型的微调步骤。 - 明白在画图界面（UI）下到底发生了什么。 - 使用代码实现 AI 绘画。
Stable Diffusion绘画 | 插件-Deforum：动态视频生成（终篇）
Leo-Fighting的博客
10-04 673
Deforum中其他模块主要是服务于上传视频的，而视频转绘有其他效果更好的插件。
Stable Diffusion绘画 | 来训练属于自己的模型：LoRA模型验收
Leo-Fighting的博客
10-03 781
上面👆展示了15个模型的出图，其中我较为满意的（既能符合提示词，像霉霉，又能保持插画风格），只有03、06、07号模型。我们每次训练出来的模型，一般都会生成 20-30 个，至于哪个模型符合要求，较为理想呢？我想其中的原因是：随着训练轮次越多，AI已经把素材的特征完全学定型了。再更换其他的提示词，多试几轮，留下出满意的 LoRA 模型以后使用。我最终选择留下 06、07 两个模型，其他的都可以选择删掉。这个提示词了，而且越来越接近真人模型，缺少插画风格。因此，从10轮过后的模型，都可以直接删掉。
基于Keras的U-Net模型在图像分割与计数中的应用
深度学习实战训练营，一起交流探索深度学习
10-04 1533
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
阿利同学的博客
10-07 1108
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
北大对齐团队深度硬核解读：OpenAI o1开启「后训练」时代强化学习新范式
ys707663989的博客
10-06 1851
本文深入探讨了OpenAI o1的技术细节、的实现、合成数据与推理搜索的优化，以及AI安全的新启示，展示了大语言模型在推理能力提升和安全对齐方面的最新进展与未来方向。
树莓派外挂Camera4（pipeline）
fanged的专栏
10-03 646
现在说起Pipeline都有点迷糊了，很多都是这个概念。GStreamer里面有，相机里面有，然后还有别的地方也有。pipeline本身其实没什么特殊的，简单理解就是一段处理。晚上查了一下，确实这几个地方都叫pipeline，然后树莓派还有个自己的Post-processing，也就是后处理。今天主要说camera的和Post-processing的。
文本区域分割系统源码＆数据集分享
lzmlzm89的博客
10-08 1081
数据集信息展示在现代计算机视觉领域，文本区域分割的研究日益受到重视，尤其是在处理文档图像和名片等场景时。为此，我们构建了一个名为“more2”的数据集，旨在为改进YOLOv8-seg模型提供丰富的训练素材，以提升其在文本区域分割任务中的表现。该数据集包含五个类别，具体包括“0”、“2”、“business-name-card”、“doc”和“wendang”，每个类别均具有独特的特征和应用场景，能够为模型的训练提供多样化的样本。
pytorch版本和cuda版本不匹配问题
分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。
10-06 425
发现cuda11.8支持pytorch2.0.0。
GraphEval: A Knowledge-Graph Based LLM Hallucination Evaluation Framework
weixin_43961909的博客
10-02 1328
评估大型语言模型(LLM)响应和检测不一致性(也称为幻觉)的方法对于LLM应用变得越来越重要。当前的度量标准在提供可解释的决策、系统地检查响应中的所有信息片段的能力方面存在不足，并且通常计算成本太高而无法在实践中使用。我们提出GraphEval:一个基于知识图(KG)结构表示信息的幻觉评估框架。我们的方法识别了KG中易于产生幻觉的特定三联体，因此比以前的方法提供了对反应中幻觉发生位置的更多了解。
pytorch搭建神经网络(手搓方法)
2303_77275067的博客
10-02 703
假如我们有一个数据集形状为(348,14)。即有348个记录，每个记录有14个特征值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值