【ComfyUI节点】扰动注意力引导Perturbed Attention Guidance

最新推荐文章于 2025-04-08 09:28:04 发布
最新推荐文章于 2025-04-08 09:28:04 发布
阅读量2.4k 收藏 14
点赞数 31
文章标签： comfyui workflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JuMengXiaoKeTang/article/details/140250581
版权

扰动注意力引导 Perturbed Attention Guidance

GitHub - KU-CVLAB/Perturbed-Attention-Guidance: Official implementation of "Perturbed-Attention Guidance"

按照官方介绍，扰动注意力指导显著提高了扩散模型的样本质量，而无需外部条件（例如类标签或文本提示）或额外训练。这在无条件生成设置中特别有价值，因为无分类器指导 (CFG) 不适用。我们的指导可用于增强利用无条件扩散模型的各种下游任务的性能，包括带有空提示的 ControlNet 和超分辨率和修复等图像恢复任务。

论文地址

Perturbed-Attention Guidance

最低0.47元/天 解锁文章
ComfyUI 基础教程：界面介绍/文生图工作流
水滴的博客
05-28 9335
本文将介绍 ComfyUI 的主要界面，包括：工作流区域、操作面板、基础操作和快捷键，并详细介绍了文生图工作流的各节点的作用及连接。 文章内容包含大量的图例，希望能够帮助新手同学快速入门。
【ComfyUI】节点教程-Flux Redux 生成图像变体的终极指南
2401_85688943的博客
02-07 773
Flux Redux 是一款高效的图像变体生成模型，旨在通过从输入图像中提取风格特征并生成相似风格的图像变体。与传统的图像生成模型不同，Flux Redux 主要依赖输入图像的视觉特征来完成生成任务，而无需依赖繁琐的文本描述。其独特的设计使得它在需要风格迁移、艺术创作和快速变体生成的应用场景中非常有效。Flux Redux 的主要特点包括：•图像变体生成：直接根据输入图像生成相似风格的图像，无需任何文本提示。•风格提取与应用：通过智能提取图像的风格，并在新图像上应用这些风格。•多图像混合。
Perturbed-Attention Guidance(PAG) 笔记
Qiming的博客
01-08 1197
Perturbed-Attention Guidance（PAG）通过使用单位矩阵替换self-attention map（QK），来生成结构退化的中间样本，引导去噪过程远离这些样本，增强最终结果的质量
一次搞懂AI绘画全年龄图谱——稳定扩散与ComfyUI详解_comfyui guidance scale
2401_84760719的博客
03-29 948
稳定扩散基础学习ComfyUI应该先从理论入手。AI绘画工具与传统绘画工具（如Photoshop或Figma）最大的区别在于，它的许多配置或操作不是可视化的，且结果具有随机性。前者意味着当你修改某个配置时，界面不一定会有反应，这使得自学变得困难；不像Figma能自主探索。后者会让你产生挫败感，即使完全按照教程操作也可能得不到相同结果。
AI绘画Stable Diffusion教程|SD WebUI必备插件教程 菜鸟轻松成高手云端部署 第四期Perturbed Attention Guidance
ccccccsaa的博客
11-18 789
首先为了更好的演示我们需要先生成一张人像图片来作为样本，采样方式和调度类型按照自己的个人喜好就可以了，我一般选择DPM++2M和karras，这个组合的出图效果是算是比较优秀的，提示词方面正向提示词是1girl,portrait,crossed hands,upper_body,负面提示词是随便输的，比如画面质量和减少肢体数量这种通用的提示词。接下来启用插件PAG插件默认值为3，可以看到重新生成的图片在手指结构的方面变得更加贴合实际，并且指甲与毛衣也都添加了相当多的细节，可以说让整张图片的质量获得了提升。
ComfyUI 入门教程 -- 内置节点 3
吴明文的博客
12-12 1706
此浮点参数将缩小操作的结束点设置为模型处理的百分比。crop_w: 在编码 conditioning 之前，对内部生成的图像进行中心裁剪的宽度偏移量（可以为正或负）。crop_h: 在编码 conditioning 之前，对内部生成的图像进行中心裁剪的高度偏移量（可以为正或负）。优化U-Net和VAE模型中的自我关注层的方法, https://github.com/tfernd/HyperTile。_fast 后缀通常表示它使用了更快的硬件指令或算法来进行类型转换或计算，以牺牲一些潜在的精度为代价。
Perturbed-Attention Guidance：提升无条件生成模型采样质量的新技术
gitblog_00761的博客
04-08 696
Perturbed-Attention Guidance：提升无条件生成模型采样质量的新技术 Perturbed-Attention-Guidance Official implementation of "Perturbed-Attention Guidance" ...
【论文阅读笔记】Self-Attention Guidance and Multiscale FeatureFusion-Based UAV Image Object Detection
zyq199082的博客
10-31 249
无人机图像目标检测是近年来的研究热点。现有的目标检测方法在一般场景下已经取得了较好的效果，但在无人机图像上存在固有的挑战。无人机图像的检测精度受背景复杂尺度差异大小目标密集等因素的限制。为了解决这些问题，我们提出了一种基于自注意力指导和多尺度特征融合的无人机图像目标检测网络(SGMFNet)。首先，设计了全局-局部特征引导(GLFG)模块。该模块可以有效地将局部信息和全局信息结合起来，使模型专注于目标区域，减少复杂背景的影响。其次，设计了改进的并行采样特征融合(PSFF)模块。
sommatlab代码-Perturbed-Topological-Signature:Matlab和Python代码可计算扰动的拓扑特征（P
05-26
matlab代码扰动的拓扑签名 使用Matlab和Python代码计算扰动的拓扑特征（PTS），这是一种有效的拓扑表示，它是根据格拉斯曼流形上的一个持久性图计算出来的。 如果使用此代码，请考虑引用以下文章： A. Som，K。...
Gravity Perturbed Optimal Orbital Transfer Analysis: 受非球形重力扰动的最优二脉冲传输-matlab开发
05-29
此 MATLAB 脚本演示了如何使用修正的 equinoctial 轨道元素定位来优化受重力扰动影响的两个脉冲轨道转移。 该脚本使用 SNOPT 来执行优化。 必须提供初始猜测，可以使用我的 File Exchange 分析工具套件中包含的 oota...
Gravity-perturbed Hohmann Transfer - OTB 版本：解决非球面重力扰动的两脉冲霍曼轨道转移问题的 MATLAB 脚本。-matlab开发
05-29
PDF 文档和一个名为 phohmann 的 MATLAB 脚本，可用于解决共面和非共面圆形地球轨道之间的重力扰动霍曼转移。 该算法从二体霍曼转移初始猜测开始，然后使用优化工具箱来确定受非球面地球重力扰动影响的最佳两脉冲...
一次搞懂AI绘画全年龄图谱——稳定扩散与ComfyUI详解
2401_84760527的博客
02-05 818
稳定扩散基础学习ComfyUI应该先从理论入手。AI绘画工具与传统绘画工具（如Photoshop或Figma）最大的区别在于，它的许多配置或操作不是可视化的，且结果具有随机性。前者意味着当你修改某个配置时，界面不一定会有反应，这使得自学变得困难；不像Figma能自主探索。后者会让你产生挫败感，即使完全按照教程操作也可能得不到相同结果。
在Stable Diffusion使用不安注意力引导
ljygood2的博客
12-22 107
逼真的动漫半身黑暗而粗犷的电影灯光充满活力和最终幻想，哥特，黑暗天使，动态姿势，日本，不对称哥特时尚，巫师的堡垒，银色的头发，灯光昏暗，空荡荡的大厅。这就是为什么默认设置是 CFG 比例为 4 且 PAG 比例为 3，总计为 7，即广泛使用的 CFG 值。PAG 不会通过自我注意力来确定未调节的潜在图像中哪部分是重要的，而是简单地说整个图像同样重要。负面提示是后来的发明，它通过注入提示来破解非条件潜像，使其避开负面提示中的概念。左列是 PAG 0 和 CFG 7，右列是 PAG 3 和 CFG 4。
[即插即用]特征融合pag 计算机视觉即插即用模块，
qq_45371200的博客
03-10 1354
该模块用于在细节分支（P branch）从包含丰富准确语义信息的I分支学习有用特征时，防止细节分支受到过多背景或全局上下文信息的压制，实现选择性地学习高层语义信息。具体来说，Pag模块通过计算P分支和I分支对应像素特征向量的点积并经过Sigmoid函数得到一个可能性值σ，表示这两个像素可能属于同一对象的程度。在实时语义分割中，现有的双分支网络结构虽然高效，但在融合高分辨率细节信息和低频上下文信息时存在局限性，即细节特征容易被周围环境信息淹没，导致过拟合现象，从而限制了现有模型分割精度的提升。
待研究课题记录
聚梦小课堂
07-06 608
最近了解到两个新的有趣的节点，但是对于实际效果不是很确定，所以这里记录下，后续慢慢研究
【comfyui教程】玩转 ComfyUI 风格转绘 FLUX：探索有趣的工作流
2401_84760719的博客
12-19 1486
玩转 ComfyUI 风格转绘 FLUX：探索有趣的工作流近年来，AI绘图工具风靡一时，而 ComfyUI 则凭借强大的节点式工作流设计吸引了众多创作者。今天，我们来聊聊一个有趣的工作流——风格转绘 FLUX。它基于 ComfyUI 的 depth 和 redux 官方工作流，加上一些外部节点，能实现令人惊艳的风格转绘效果。什么是风格转绘 FLUX？风格转绘 FLUX 是一套融合深度信息与风格迁移的图像处理方法，专注于多张图片风格的融合与再创造。
ComfyUI-FluxRegionAttention：实现Region Attention功能的Flux模型增强
gitblog_00969的博客
03-26 854
ComfyUI-FluxRegionAttention：实现Region Attention功能的Flux模型增强 ComfyUI-FluxRegionAttention Implement Region Attention for Flux model ...
19.4-STM32接收数据-状态显示在屏幕 openMV寻迹与小车控制 Openmv+STM32F103C8T6视觉巡线小车.md
最新发布
06-05
19.4-STM32接收数据-状态显示在屏幕 openMV寻迹与小车控制 Openmv+STM32F103C8T6视觉巡线小车
GSAM注意力
03-08
### GSAM注意力机制在深度学习中的应用 GSAM (Sharpness-Aware Minimization with Surrogate Gap Guidance) 作为一种先进的优化器，在处理复杂模型训练过程中引入了独特的注意力机制，以提高模型的鲁棒性和泛化能力。该方法不仅关注损失函数最小值的位置，还特别考虑了损失曲面的形状特性。 #### 关注损失曲面几何特征 传统优化算法通常只追求使损失尽可能小的方向前进；然而，这种做法可能导致找到的是尖锐极小值而非平坦区域内的解。研究表明，位于较平滑区域的参数组合往往具有更好的测试表现和更强的数据扰动容忍度[^1]。 为了实现这一点，GSAM 引入了一种称为“代理间隙”的概念来指导最优化过程。具体来说： - **计算当前权重下的最大上升方向**：对于给定的一组网络参数 \( w \)，寻找使得目标函数增加最多的更新向量 \( v_{max} \)。 - **评估两个位置处的目标差异**：比较原始点 \( f(w) \) 和沿 \( v_{max} \) 移动后的点 \( f(w + \epsilon * v_{max}) \) 的取值情况，其中 \( \epsilon \) 是一个小步长超参。 - **调整梯度下降路径**：利用上述两点之间的差距作为额外惩罚项加入到标准SGD或其他一阶梯度法中去，从而促使迭代轨迹远离那些容易过拟合的地方。 ```python def compute_surrogate_gap(model, inputs, labels, epsilon=0.01): # 获取初始预测误差 outputs = model(inputs) loss_fn = nn.CrossEntropyLoss() original_loss = loss_fn(outputs, labels) # 寻找最大上升方向并移动一小步 grad_max = torch.autograd.grad(original_loss, model.parameters(), create_graph=True) perturbed_params = [] for param, g in zip(model.parameters(), grad_max): p_adv = param.data.clone().detach() + epsilon * g.sign() perturbed_params.append(p_adv.requires_grad_()) # 使用对抗样本重新前向传播得到新的loss adv_outputs = model(*perturbed_params)(inputs) new_loss = loss_fn(adv_outputs, labels) return new_loss - original_loss ``` 此代码片段展示了如何在一个简单的神经网络分类任务里实现surrogate gap的计算逻辑。注意这里假设`model`是一个PyTorch风格的对象，并且输入数据已经准备好用于训练循环内部调用[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

聚梦小课堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值