ControlNet通过改进UNet结构，解决SD在生成复杂文本中的问题。它利用额外的卷积层控制生成过程，能生成特定姿势的人物和艺术字，如春节风格的艺术字。Canny算法用于简单的控制单元，如嵌入字体到图片中。
ControlNet
论文地址：https://arxiv.org/abs/2302.05543
代码地址：https://github.com/lllyasviel/ControlNet
sd画的图可控性并不高，尤其是文字，比如我们想让sd生成一个带有汉字“王炸”的条幅，sd会生成条幅，但是汉字都是有形体，但是内容是不对的，如图：
ControlNet为解决这一问题作出了突出贡献。sd是一种UNet，包含编码和解码的过程，文生图的过程就是字转为带有语义信息的token，并逐步附加到sd的decoder过程中。ControlNet同样也是将输入转为向量，逐步添加到生成过程。
ControlNet与sd公用了大部分骨干，只有添加了少数卷机层，在训练和使用时都不会大幅度提高计算量&#x
最低0.47元/天 解锁文章
扫一扫
1144
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
