可控生成之GLIGEN原理

已于 2023-09-03 00:18:20 修改
阅读量579 收藏
点赞数
分类专栏： AI算法 文章标签： AIGC 人工智能 stable diffusion
于 2023-09-03 00:10:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/orangerfun/article/details/132637453
版权
GLIGEN通过引入定位条件（如BBOX、参考图片等）增强Stable Diffusion的控制能力，以实现更精细化的图像生成。模型采用门控Transformer层处理新输入，保留预训练知识并融合定位信息。实验显示，GLIGEN在控制图像生成和质量之间取得良好平衡，具有强大的泛化性。
摘要由CSDN通过智能技术生成

在这里插入图片描述
🤗关注公众号 funNLPer 快乐白嫖🤗

论文：GLIGEN: Open-Set Grounded Text-to-Image Generation
代码：gligen/GLIGEN
项目地址：GLIGEN
demo地址：gligen demo

文章目录


简单来说GLIEN的出发点与我们之前介绍的 可控生成之ControlNet 类似，都是希望对SD等预训练生成大模型进行精准控制，从而让SD的生成结果更符合人们的期望。

1. 动机

尽管Stable Diffusion生成的图片已经足够让人惊艳，但是存在一个问题是SD只通过文本来控制图像的生成，这造成对模型生成的控制能力不够强大，因为很多图片我们无法详细准确的描述，尤其是图片中各个实体的方位、以及实体的细节等。基于这个问题出发GLIEN提出在模型的输入中增加定

了解本专栏 订阅专栏 解锁全文 超级会员免费看
funNLPer
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
JavaScript_GLIGEN的直观GUI，后端使用ComfyUI.zip
05-20
在给定的压缩包文件中，"gligen-gui_main.zip"可能包含了GLIGEN GUI库的主要代码和资源。通常，这种zip文件会包含HTML、CSS、JavaScript文件以及可能的图像、字体或其他资源。开发者解压后可以将这些文件引入到自己...
（2023|CVPR，LDM，接地信息，门控自注意）GLIGEN：基于开放集的文本到图像生成
qq_44681809的博客
10-16 1037
本文提出了 GLIGEN，除了以文本为条件外，它还能够根据接地输入来控制条件生成。为了保留预训练模型的广泛概念知识，冻结了其所有权重，并通过一种门控机制将接地信息注入新的可训练层。
每日学术速递1.30
与君共勉，一起学习
01-30 833
Muse是在离散标记空间的遮蔽建模任务上训练的：给定从预先训练的大型语言模型（LLM）中提取的文本嵌入，Muse被训练来预测随机遮蔽的图像标记。本文旨在确定重新获得竞争力的必要步骤。我们提出的模型StyleGAN-T解决了大规模文本-图像合成的具体要求，如大容量、在不同数据集上的稳定训练、强文本对齐和可控的变化与文本对齐的权衡。在这项工作中，我们提出了GLIGEN，即接地语言到图像的生成，这是一种新颖的方法，它建立在现有的预训练的文本到图像扩散模型的基础上，并通过使它们也能以接地输入为条件而扩展其功能。
comfyUi核心节点
AiPlayerShow的博客
06-16 2800
为了方便快速搭建工作流，实现工作流程的结果，通常会搭建自定义的节点、扩展来达成目的。例如汉化自定义节点扩展ComfyUI-Translation。通常存放在custom_nodes目录下，可以通过面板安装节点或者卸载这些节点。
Gligen-GUI: 简化图形生成器，赋能科研与教育
gitblog_00024的博客
03-26 338
Gligen-GUI: 简化图形生成器，赋能科研与教育 项目地址:https://gitcode.com/mut-ex/gligen-gui Gligen-GUI 是一个强大的图形界面工具，旨在简化复杂图形的生成过程，特别适合于科研和教育领域的用户。该项目利用先进的图形处理技术和直观的交互设计，帮助用户快速创建高质量的图形，如分子结构图、电路图、流程图等。 技术分析 Gligen-GUI 基于 P...
多模态GLIGEN论文精读
m0_52474839的博客
04-14 1201
具体来说，我们使用hc = [h c 1，···，hc L] = ftext©获得标题特征序列(图2中的黄色标记),其中 最后一个单词hc L就是caption的上下文特种(类比BERT的CLS)尽管LDM在互联网规模数据上的预训练已经显示出令人印象深刻的语言到图像生成结果，但在可以指示额外基础输入的情况下合成图像仍然具有挑战性，因此这是我们论文的重点。请注意，现有的layout2img只能处理闭集设置(例如，COCO类别)，因为它们通常学习每个实体的向量嵌入u，以替换(5)中的ftext(e)。
GLIGEN
whaosoft143ai的博客
03-25 222
大型扩散模型已经在网络规模的图像文本上进行了预训练，以获得基于多样化和复杂的语言指令合成现实图像所需的知识，由于预训练的成本很高，性能也很好，在扩展新能力的同时，在模型权重中保留这些知识是很重要的，可以通过调整新的模块来逐步适应新能力。将其与为layout2img任务设计的最先进的模型进行比较，此外，先前的生成模型通常是在特定任务的数据集上独立训练的，而在图像识别领域，长期以来的范式是通过从「大规模图像数据」或「图像-文本对」上预训练的基础模型开始建立特定任务的模型。whaosoft aiot http:/
ComfyUI新宠，精准位置生成模型GLIGEN，附下载
heehelcom的博客
02-19 1028
它允许用户通过链接不同的节点来构建图像生成工作流，这样的设计使得用户可以更加灵活地控制图像生成过程中的各个环节，从而实现更加高效和精确的图像生成。2.接下来，把gligen_sd14_textbox_pruned.safetensors GLIGEN 模型文件并将其放置在 ComfyUI/models/gligen 目录中。自带GUI，操作非常便利，可以精确控制要在什么位置画什么内容，比纯文字描述的RPG-DiffusionMaster更精确。开始使用 GUI，如果地址栏中的 8188 不同，请将其更改。
Glide图片加载器
mlsnatalie的博客
10-16 318
图片加载的功能 Glide.with(context) .load(src) .into(iv_full_image) 复杂的功能可以使用 Glide.with(this) .load(url) .placeholder(R.drawable.loading) .error(R....
液冷技术：迎接AIGC时代数据中心的散热挑战
08-15 887
在浸没式液冷技术中，冷却液需要与电子产品直接接触，因此对冷却液的性能具有较高的要求，需要具备优异的导热性、良好的绝缘性、材料相容性等，此外对于气味、毒性、降解难易等环境方面特性也是有一定要求，应尽可能的易于操作及环境又好型。长期看，浸没式液冷凭借其良好的导热性能、高效的余热回收能力和支持更高机柜功率的优势，会更适合未来数据中心冷却需求的演变，尤其是在机柜单元功率不断增加的情况下，浸没式液冷可以提供更高效的冷却解决方案，并且助力降低数据中心的总体能源使用效率（PUE）。②IT侧交付“液冷服务器+液冷机柜”；
AIGC从入门到实战:模型搭建【GPT4ALL】
tonyoo的专栏
08-18 404
GPT4All：这是一个开源项目，提供了一个可以在本地运行的GPT模型，不需要网络连接，也不强制要求有显卡，CPU也可以运行。Hugging Face上的GPT-2模型：Hugging Face提供了GPT-2的预训练模型，你可以通过Python环境和transformers库来加载和运行这些模型。下载地址：你可以访问GPT4All的官方网站 10，在这里你可以找到与你的操作系统匹配的安装包进行下载。你还可以选择下载UI包以获得更好的用户界面体验，安装UI包后，可以在安装路径下的。
AI测试入门：认识AIGC与多模态技术
blues_C的博客
08-18 739
AIGC（AI Generated Content）是指利用人工智能技术生成的各种类型的内容，包括文本、图像、音频和视频等。
Datawhale AI 夏令营 第四期 AIGC Task3
weixin_43680622的博客
08-17 610
Datawhale AI 夏令营（第四期）Task 3 进阶上分-实战优化这次任务呢，主要是对知识的一个讲解，包括ComfyUI工具的使用啊，以及LoRA的原理啊，还有高质量数据集的准备技巧。这次干货满满，前两次任务主要是对实践流程的解读，这次呢是对背后原理的解释。同样的，具体细节我就不赘述了，参看教程即可，下面我主要就此次Task3任务学到了哪些内容作一个总结。首先来到第一部分：ComfyUI。这个工具我还真没用过，这是头一次见。
AIGC：clip-interrogator
微风❤水墨
08-16 873
如果你安装的是0.6.0，那么可以使用自定义词库其他：clip-interrogator代码解析 - plus studio-腾讯云开发者社区-腾讯云clip_interrogator教程 - plus studio - StudyingLover。
【AIGC半月报】AIGC大模型启元：2024.08（下）
最新发布
LeeZhao的博客
08-20 771
【AIGC半月报】AIGC大模型启元：2024.08（下）
SaaS中如何应用AIGC：智能赋能，引领未来
2301_78368467的博客
08-16 622
探讨AIGC在SaaS中的应用，提升企业智能化与效率。
gligen使用的是cnn吗
11-18
是的，Gligen使用的是卷积神经网络（CNN）。卷积神经网络是一种深度学习模型，它通过多层卷积和池化层来提取图像或其他类型的数据中的特征，并用这些特征来进行分类或预测。在Gligen中，CNN被用来对基因组数据进行分析和预测，通过对DNA序列进行卷积操作和特征提取，来识别基因的功能、结构和相互作用等信息。CNN的特点是可以有效地处理大规模和高维度的数据，适合于基因组数据这种复杂的生物信息学数据。因此，Gligen选择了CNN作为其模型的基础，以提高基因组数据的分析精度和效率。通过对CNN的优化和调整，Gligen可以更好地适应不同类型的基因组数据，并为基因组研究和生物信息学领域提供更准确和可靠的分析工具。因此，可以肯定地说，Gligen使用的是卷积神经网络作为其分析基因组数据的主要模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值