Stablediffusion webui Controlnet重大更新！FreeControl可控 T2I 生成的免训练模型

ControlNet 是一种神经网络结构，通过添加额外的条件来控制扩散模型。

上期内容回顾7.8kstart 字节杀器magicanimate 本地视频转绘教程

不需要magic，QQ邮箱即可注册，这个效果确实不错，我感觉比 runway 好最长视频支持12S，超过pika ，复制到PC端浏览器打开，不支持微信

 [AI绘画关于SD,MJ,GPT,SDXL,Comfyui百科全书](https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH)

https://neverends.life/register?code=v4Ptww

   

它将神经网络块的权重复制到“锁定”副本和“可训练”副本中。

因此，使用图像对的小数据集进行训练不会破坏生产就绪的扩散模型。

“零卷积”是 1×1 卷积，权重和偏差都初始化为零。

在训练之前，所有零卷积都输出零，ControlNet 不会造成任何失真。

没有一层是从头开始训练的。你还在微调。您的原始模型是安全的。

这允许在小规模甚至个人设备上进行培训。

这也有利于合并/替换/偏移模型/权重/块/层

通过这种方式，ControlNet 可以重用标清编码器作为深度、强大、健壮和强大的骨干来学习各种控制

 FreeControl   

     在这项工作中，我们提出了FreeControl，一种用于可控T2I的免培训方法 同时支持多个条件、体系结构和检查点的生成。FreeControl 设计了结构引导，以促进结构与引导图像的对齐，并设计外观引导，以实现 使用相同种子生成的图像之间的外观共享。FreeControl结合了分析阶段和综合阶段。在分析阶段，FreeControl 查询 T2I 模型生成低至一个种子图像，然后根据生成的图像构建线性特征子空间。在合成阶段，FreeControl在子空间中采用引导，以促进结构与引导的对齐 图像，以及使用和不使用控制生成的图像之间的外观对齐。

通过注意力和卷积特征注入进行图像到图像转换的免训练方法

ControlNet 等最新方法为用户提供了对文本到图像 （T2I） 扩散模型的细粒度空间控制。然而，辅助模块必须针对每种类型的空间条件、模型架构和检查点进行训练，这使它们与人类设计师希望在内容创建过程中传达给 AI 模型的不同意图和偏好不一致。在这项工作中，我们提出了 FreeControl，这是一种用于可控 T2I 生成的免培训方法，可同时支持多个条件、架构和检查点。FreeControl 设计了结构引导，以促进结构与引导图像的对齐，并设计外观引导，以实现使用相同种子生成的图像之间的外观共享。大量的定性和定量实验证明了 FreeControl 在各种预训练的 T2I 模型中的卓越性能。特别是，FreeControl 有助于方便地对许多不同的架构和检查点进行免训练控制，允许大多数现有免训练方法无法满足的具有挑战性的输入条件，并通过基于训练的方法实现有竞争力的综合质量。

不过可惜的是目前代码还未开源~~

实验设置。与ControlNet[59]类似,我们报告了八种条件类型(草图、法线、深度、Canny边、M-LSD线、HED边、分割掩码和人体姿势)的定性结果。我们进一步使用了几个以前看不见的控制信号作为输入条件,并将我们的方法与稳定扩散的所有主要版本(1.5、2.1和XL1.0)相结合,研究其在扩散模型架构上的推广。

处理冲突条件。最后,我们研究了空间条件与输入文本提示有微小冲突的情况。我们假设文本提示由一个概念(例如蝙蝠侠)和一种风格(例如卡通)组成,并将冲突的情况与其对齐的版本进行对比。具体而言,冲突案例包括(a)概念和风格可行结合的文本提示;以及(b)从没有文本概念的真实图像导出的空间条件(即,边缘图)。对应的对齐大小写包含类似的文本提示,但使用了来自具有相同概念的真实图像的空间条件。我们使用一组预先训练和定制的模型,将这些案例输入到ControlNet、T2I Adapter和FreeControl中。图7显示了结果。我们无需训练的FreeControl始终如一地生成适合中等身材的高质量图像-

结论：

我们提出了FreeControl,这是一种用于在许多条件下对任何T2I扩散模型进行空间控制的无训练方法。FreeControl利用了预训练的T2I模型的特征空间,方便了对许多架构和检查点的方便控制,允许各种具有挑战性的输入条件,而大多数现有的无训练方法都无法满足这些条件,并通过基于训练的方法实现了有竞争力的合成质量。一个限制是,FreeCon-torl依赖于DDIM反演过程来提取制导图像的中间特征,并在合成阶段计算额外的梯度,导致推理时间增加。我们希望我们的发现和分析能够为可控的视觉内容创作提供线索。

pdf-https://genforce.github.io/freecontrol/github-https://github.com/genforce/freecontrolarxiv-https://arxiv.org/abs/2312.07536

小说转视频地址:https://kkget.jeff1992.com/

超多AI合集已整理到https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH

后台回复【起飞】获取加速插件下载地址

电商作品展示

，时长00:25

加入粉丝群，群文档教学大更新啦~~

回复【交流群】加群，过期请私信

回复 【M 】获取最新GPT绘画插件

回复【小说】获取小说工具和接单平台

回复【ai】获取AI工具在线文档大礼包

回复【面试】获取JAVA面试题合集

往期精彩内容

春晚龙辰辰被质疑AI * 微软Copilot上手体验 | Playground v2 发布 它在生成效果上比SDXL强2.5倍

炸裂 |谷歌推出GPT4劲敌Gemini大模型  多模态实时性 Bard支持试用

AI绘画的6种方式将你的显卡性能拉满体验SDXL  这一种你绝对没听过

重大更新！！！4G显存就能跑SDXL ？SD1.7或将对F8优化merge

Baichuan2400万免费Tokens＋ 向量数据库免费实例，限量领取，不要错过！

Stability videoAI 的生成视频模型 | 盘点OpenAI 的瓜一次吃个够

啊？AI绘画一个插件性能就提升5倍？尊嘟假嘟

又一里程碑！！GPT4全家桶16倍性能提升API降价

一键剪藏还带AI？轻松收集你喜爱的网页信息

紧急通知！！SD秋叶启动器1104报错修复 这是个bug

文心一言4.0 已通过 调用API教程 手把手一步一步来 学不会来找我

4090禁售？麻了！连夜涨价1万 英伟达发出声明