CatchLight的博客

记忆中的青春，总在追逐一些美的事情。今天晚上泡在健身房里、明天又买了把吉他学起了民谣。那一年被《千与千寻》、《你的名字》吹过的夏天，脑海里不断回放着新海诚、宫崎骏故事世界的每一帧画面。后来在朋友的帮助下开始学习插画，自学了一段时间之后，因为各种原因无限制搁浅了，这也算是青春的一种遗憾吧。时隔多年，在平行时空回到了那个夏天，我用AI实现了我的插画梦。终于不用再等到回家了，在公司打开笔记本上的浏览器上就能玩AI绘画。家里台式机显卡渲染不了的图，我就放在HAI上跑，避免了显卡崩溃我崩溃的局面。

Stable Diffusion是一个什么架构呢，或者说是由哪些部分构成，各自发挥着怎么样的作用。我们就先从文生图开始探索我们在开篇讲了Stable Diffusion的优势在与latent space计算，所以U-Net model是在潜空间计算的。中间空白的部分在后面的学习过程中逐渐填补。这就是文生图中，从输入文本到Latent空间的一个流程，主要讲了clip的处理流程，同时也是conditioning的生成流程。里面的noise predictor和U-Net是本文中留下要学习的地方。

最近一边自学stable diffusion，一边写了几篇关于stable diffusion理论的文章。在不断的学习过程中，愈发觉得理论固然重要，但是实践也相当重要。对于很多自学者来说，实践比理论更重要。毕竟，学习stable diffusion的目的就是生成图片。而且stable diffusion的webui，本身就是为了屏蔽底层AI绘画生成代码的细节，让整个AICG的过程对用户透明，让用户通过调整参数使用即可。秉着边学习边实践的原则，今天就来完成写实CG风格美女图片的生成。

那么controlNet到底是什么呢?使用controlNet提取图片的图像信息，以此来控制输出图片的内容。

掌握stable diffusion绘画