ConsiStory：Training-Free的主体一致性生成

已于 2024-03-21 15:36:24 修改
阅读量309 收藏 5
点赞数 4
分类专栏： AIGC 文章标签： 计算机视觉 论文阅读 多模态大模型 AIGC
于 2024-03-17 21:02:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pku_langzi/article/details/136789722
版权

Overview


ConsiStory

一、总览

题目： Training-Free Consistent Text-to-Image Generation
机构：NVIDIA, Tel-Aviv University
论文：https://arxiv.org/pdf/2402.03286.pdf
代码：https://consistory-paper.github.io/ (coming soon)
任务：一致性生成
方法：目标驱动的共享注意力模块 + 相关性特征注入
特点：效果惊艳，training free
前置相关工作：The Chosen One，Adaptive Context Modeling，[26]，Intelligent Grimm（StoryGen）

二、PPT详解

在这里插入图片描述
在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
猴猴猪猪
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Training-Free Consistent Text-to-Image Generation # 论文阅读
qq_29679623的博客
05-25 712
来保证多图间的主体一致性，另外通过一些 trick 保证生成图片分布的多样性和 layout 的多样性。本方法可以保证不需要任何额外训练或 finetune 的情况下，完成主体保持的人物，同时相比其他需要训练的方法有更好的文本对齐能力。提出了一种不需要任何额外训练的主体保持方法，可以一次生成的 batch 中，通过多个 prompt 生成对应的多张图片，这些图片都可以拥有一个主体。另外文章提到即使在 self-attn 之间共享的只是 mask 提取到的主体，但是仍然会出现生成图片分布过于一致的问题。
ConsiStory Training-Free Consistent Text-to-Image Generation
weixin_44966641的博客
03-24 1187
ConsiStory 无需训练，在生图 batch 内共享 KV 实现 subject 一致的生成，为避免背景受到影响，仅在 attention mask 内共享。使用混合 query 特征和 attention dropout 削弱 KV 共享的影响，从而丰富布局和背景的多样性。通过 DIFT 特征找到对应的 patch 位置，使用 feature injection 进行细粒度的优化。
英伟达推出ConsiStory免训练文生图模型；Sora物理悖谬的几何解释；Groq推出全球最快大模型
haleycat的博客
02-21 1107
ConsiStory是一种免训练的一致性连贯文生成图模型，由英伟达和特拉维夫大学的研究人员开发。它解决了文生成图模型在生成内容一致性方面的两个主要问题。首先，ConsiStory使用主体驱动自注意力（SDSA）模块来共享主体相关的视觉信息，使不同图像中的主体保持一致的外观。其次，它通过特征注入方法在图像之间共享自注意力输出特征，从而增强不同图像之间细节层面的一致性。此外，ConsiStory还使用锚图像和可重用主体来提供主题信息的参考功能，并实现主题一致性。
ConsiStory：无需训练的一致性文本到图像生成技术
人工智能讲师分享前沿技术
07-04 687
随着大规模文本到图像（T2I）扩散模型的发展，用户可以更自由地通过文本指导图像生成过程。然而，要在不同的提示中保持同一主题的视觉一致性仍然是一个挑战。现有的方法通常需要对模型进行微调或预训练，以教授新词汇来描述特定用户提供的主题，这不仅耗时耗力，而且在生成图像与文本提示的对齐以及描绘多个主题时存在困难。本文提出了一种无需训练的方法ConsiStory，它通过共享预训练模型的内部激活来实现一致性主题生成，不涉及任何优化或预训练步骤。
英伟达新技术 Nvidia ConsiStory: 无需训练的一致性框架
weixin_51674085的博客
07-30 162
是英伟达推出的一个新的一致性技术，可以在文生图中保持人物或物体一致，目前还是期货开源可以期待一手。
英伟达推出免训练，可生成连贯图片的文生图模型ConsiStory，生成角色一致性解决新方案
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
03-13 1036
论文的核心内容是介绍了一个名为ConsiStory的文本到图像生成模型，该模型能够在无需额外训练的情况下生成连贯的图像序列。ConsiStory模型主要解决了两个问题：一是识别和定位图像中的共同主体，二是在不同图像中保持主体的视觉一致性。为了实现这些目标，ConsiStory采用了主体驱动自注意力（SDSA）和特征注入等核心模块。ConsiStory模型可以作为一种插件，帮助其他扩散模型提升文本到图像生成的一致性和连贯性。
无需训练的一致性文本到图像生成技术
步子哥的博客
07-07 756
ConsiStory的核心思想是通过共享预训练模型的内部激活来实现一致的主体生成。主体驱动的共享注意力模块: 这个模块能够在不同的图像生成过程中保持主体的一致性。基于对应关系的特征注入: 通过这种技术,可以进一步增强生成图像之间主体的一致性。布局多样性策略: 在保持主体一致性的同时,ConsiStory还开发了一些策略来鼓励生成图像在布局上的多样性。这种方法的一个显著优势是,它无需任何优化步骤就能实现出色的主体一致性和文本对齐性能。
MoA Mixture-of-Attention for Subject-Context Disentanglement in Personalized Image Generation
weixin_44966641的博客
04-28 899
MoA 的方案虽然需要训练，但是训的是定制化生成的能力，而不是像 LoRA 一样只能训某一个 subject。同时，在训练阶段加入 subject mask 让模型学习，从而在生图阶段不需要再显式地加入 mask。整体相比于之前的多概念定制化方法（Mix of show, ConsiStory, OMG, CustomDiffusion）等看起来都要更优雅一些。
图像生成中图像质量评估指标—FID介绍
u013889591的专栏
07-27 1835
Fréchet Inception Distance（\textbf{FID}）是一种衡量生成模型性能的指标，它基于Inception网络提取的特征来计算模型生成的图像与真实图像集合之间的距离。FID利用了Inception模型（通常指的是InceptionV3）来提取图像的特征表示。然后，它计算了两组特征（真实图像和生成图像）的Fréchet距离，即均值和协方差之间的距离。
论文阅读：Deep_Generic_Dynamic_Object_Detection_Based_on_Dynamic_Grid_Maps
qq_53589322的博客
07-25 880
相机参考图像显示在顶部，基于深度学习的旋转边界框目标检测结果覆盖在中间的动态网格上，经典的DBSCAN目标检测在最后一行。该文章提出了一种基于动态网格图（Dynamic Grid Maps）的深度通用动态物体检测方法，旨在提高复杂环境中动态物体检测的准确性和效率。本文提出的方法旨在解决这些挑战，提供一种更鲁棒和高效的动态物体检测技术，适用于自动驾驶、机器人导航等领域。本文提出的基于动态网格图的深度学习动态物体检测方法，在多种复杂环境下均表现出色，有效提高了动态物体检测的准确性和鲁棒性。
艾瑞咨询《2023年中国AIGC产业全景报告》【下载】
cybtec的博客
07-25 581
艾瑞咨询《2023年中国AIGC产业全景报告》【下载】
【AIGC】Llama-3 官方技术报告
youcans的博客
07-25 2008
Meta开源Llama 3大模型，并发布92页重磅技术报告，全面揭秘其背后的技术细节，涵盖数据、训练、多模态等多个方面。
AIGC 文生图 DiffSynth-Studio微调lora训练案例
weixin_42357472的博客
07-25 1059
参考： https://github.com/modelscope/DiffSynth-Studio https://github.com/modelscope/DiffSynth-Studio/tree/main/examples/train/kolors 环境 模型 下载数据集： 注意metadata.csv与数据集图片放一个目录train文件夹下 地址：https://modelscope.cn/datasets/buptwq/lora-stable-diffusion-finetune/files
qt练习控件label控件-lineEdit控件样例代码
07-30
qt练习控件label控件-lineEdit控件样例代码
【JCR一区级】麻雀搜索算法SSA-CNN-LSTM-Attention故障诊断分类预测【含源码 5689期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Attention分类系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Attention分类 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Attention分类 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Attention分类 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Attention分类 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Attention分类
详解MATLAB Simulink通信系统建模与仿真
07-30
第1 章 MATLAB 基础与通信系统仿真 1.1 MATLAB 简介 1.2 MATLAB 程序设计 1.3 通信系统仿真 第2 章 Simulink 仿真基础 2.1 Simulink 简介 2.2 Simulink 工作环境 2.3 Simulink 仿真的基本方法 2.4 创建自己的模块库 2.5 S-函数的编写 第3 章 通信信号与系统分析 3.1 离散信号和系统 3.2 Fourier 分析 3.3 带通信号的低通等效 3.4 随机信号分析 第4 章 信道 4.1 加性高斯白噪声信道 4.2 多径衰落信道 第5 章 模拟调制 5.1 幅度调制 5.2 角度调制 第6 章 数字基带传输 6.1 概述 6.2 二进制基带信号传输 6.3 基带PAM 信号传输 6.4 带限信道的信号传输 第7 章 数字信号载波传输 7.1 概述 7.2 载波幅度调制（PAM） 7.3 载波相位调制（PSK） 7.4 正交幅度调制（QAM） 7.5 载波频率调制（FSK） 第8 章 信道编码和交织 8.1 概述 8.2 线性分组码
SCI一区】淘金算法GRO-CNN-BiLSTM-Mutilhead-Attention多变量时序预测含源码 5642.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-BiLSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-BiLSTM-Mutilhead-Attention回归预测
2020年首届“洪泽湖杯”中国人工智能掼蛋算法大赛第8名我就是掼蛋.zip
07-30
毕业设计是高等教育阶段学生完成学业的一个重要环节，通常在学士或硕士学业即将结束时进行。这是学生将在整个学业中所学知识和技能应用到实际问题上的机会，旨在检验学生是否能够独立思考、解决问题，并展示其专业能力的一项综合性任务。 毕业设计的主要特点包括： 独立性： 毕业设计要求学生具备独立思考和解决问题的能力。学生需要选择一个合适的课题，研究相关文献，进行实地调查或实验，并提出独立见解。 实践性： 毕业设计是将理论知识应用到实际问题中的一次实践。通过完成毕业设计，学生能够将所学的专业知识转化为实际的解决方案，加深对专业领域的理解。 综合性： 毕业设计往往要求学生运用多个学科的知识，综合各种技能。这有助于培养学生的综合素养，提高他们的综合能力。 导师指导： 学生在毕业设计过程中通常由一名指导老师或导师团队提供指导和支持。导师负责引导学生确定研究方向、制定计划、提供建议，并在整个过程中监督进展。 学术规范： 毕业设计要求学生按照学术规范完成研究，包括文献综述、研究设计、数据采集与分析、结论和讨论等环节。学生需要撰写一篇完整的毕业论文，并进行答辩。
网络音乐搜索引擎，音乐搜索器 - 多站合一音乐搜索,音乐在线试听
最新发布
07-30
网络音乐搜索引擎，音乐搜索器 - 多站合一音乐搜索,音乐在线试听 效果截图https://www.diyiyuanma.cn/3444.html 多站合一音乐搜索解决方案，数据调用的是各网站的API接口， 有的接口并不是开放的，随时可能失效，本项目相关代码仅供参考。 网络音乐搜索引擎，音乐搜索器 - 多站合一音乐搜索,音乐在线试听
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猴猴猪猪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值