传统图像处理岗切换AIGC方向分享

引言

传统图像岗转AIGC，经过半个月学习，了解文生图模型Stable Diffusion SD所依赖的模块及算法流程，了解ControlNet算法流程，成功部署云端WebUI，进行阶段性总结。

了解一个新领域或新技术，首先了解基础概念，才能有效阅读论文或文章。最有效的方法是阅读一篇经典论文，并了解文中涉及的专有名词。但，开始就上手英文论文，辨别相关名词有难度，那么寻找国内大牛写的文章作为替代，是个明智的选择。这里又有个问题：寻找干货文章费时，而且存在能否辨别的问题

由于寻找中文博客不确定性较大，最终选择先从原文开始。在啃完两篇英文论文后，回过头阅读26篇文章，挑选一篇认为适合第一阶段阅读的博客，分享出来。

其次，学习新知识的模式构建，是学习能力强的关键。分享我快速了解一项新技术的问题框架。

最后附上论文地址，阅读原文，可以帮助形成自己的理解。

以上三个步骤的时间投入占比分别为：50%，20%，30%。

基础概念

Stable Diffusion原理详解_stable diffusion csdn-CSDN博客https://jarod.blog.csdn.net/article/details/129280836

这篇博客涉及的知识点和算法解释，个人认为比较准确，通过文章了解专有名词过程中也能对技术有初步的认识

了解术语过程中，存在一个术语引出另一个术语，另一个术语又引出另一个术语的问题，造成学习过程无法快速收敛，可对第一二层专有名词简单了解，控制学习周期（简单了解的定义：知道它的作用，它的输入、输出）。

以下列举认为第一阶段可能影响周期，简单了解即可的术语:

• VAE
• UNet
• 交叉注意力机制
• 条件去噪自编码器

问题框架

一个新技术必须要能回答以下两个问题。因此，针对某个技术探寻问题答案能快速形成一个正确的概念。

• 技术解决了什么问题？
• 技术达到了什么效果？

有了概念之后，进一步了解技术的机制和核心创新点。

• 技术的大致流程、输入和输出是什么？
• 技术创新点的体现和位置？

阅读原文

初步了解基础概念和算法流程之后，可进一步阅读原文，文章中的诸多细节，能帮助形成自己的理解。

High-Resolution Image Synthesis with Latent Diffusion Models ：Stable Diffusion

Adding Conditional Control to Text-to-Image Diffusion Models ：ControlNet