ControlNet是一种深度学习模型，旨在解决AI绘画领域中的可控性问题，支持多种控制方式输入。通过Zero Convolution技术，它能在小数据集上训练并实现快速收敛。模型的思路与ResNet的skip connection相似，但加入了学习过程，类似注意力机制，但具体应用场景仍有待探索。
Stable Diffusion (2021 https://arxiv.org/abs/2112.10752) 带领了vision领域，具体是AI绘画领域达到了一个新高度。但是可控性成为使用的一个大瓶颈。Controlnet (2023 https://arxiv.org/abs/2302.05543) 提出一个深度学习模型框架，很好解决这个问题， 我们普通人使用复杂模型带来了希望。 其支持多种控制方式的输入，给创作带来了大大的便利。
有很多文章解释了controlNet的原理， 不在这里详细讨论。其文章主要发明创作是zero convolution。
Q: 为什么zero convolution可以用小数据来训练呢？
- 模型初始化的时候权重为训练好的权重，并且generation 部分的网络权重是固定的。右侧网络在没有学习的时候不影响最终输出，输出为0，最终效果只是微调。因此不需要大的数据量，收敛速度更快。
Q: 为什么zero convolution 可以提供如此强大的功能呢？
如果没有这一层，其实也可以训练的，但是训练难度增加，参见上一个问题。依然是因为只是微调。
Thoughts:
最低0.47元/天 解锁文章
1655
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
