AI绘画原理

CLIP/对比式语言-图片预训练

如果让你把左侧三张图和右侧三句话配对，你可以轻松完成这个连线。但对AI来说，图片就是一系列像素点，文本就是一串字符串，要完成这个工作可不简单。

这需要AI在海量"文本-图片"数据上学习图片和文本的匹配。下图绿色方块是“图片潜在空间”的N张图，紫色方块是"文本潜在空间"的N句描述语，AI会努力将对应的I1和T1（蓝色方块）匹配，而不是I2和T3（灰色方块）匹配。这个AI就是广泛被用在AI作画中的CLIP(Contrastive Language Image Pre-Training/对比式语言-图片预训练)。

当AI能成功完成这个连线，也就意味着AI建立了"文字潜在空间"到"图片潜在空间"的对应关系。这就是AI能够根据提示语"一只骑摩托车的大熊猫"找到"图片潜在空间"中对应(图片)点的原因。

图片：我散开了——Diffusion的自白

从图片潜在空间中的一个点得到一张高清图片，相当于给你一个身份证号让你在全国14亿人中找到这个人，难度可想而知。

对AI来说，过去大家熟知一些AI图像生成的项目主要使用了GAN技术（Generative Adversarial Network生成对抗网络）。GAN的一大缺陷是不好加条件，比如AI只知道要生成人脸，但没法儿指定让AI生成黑长直美女头像。

为了让AI听懂人话，Diffusion(扩散)技术逐渐成为AI生成图像领域的新宠。如何理解Diffusion技术？Diffusion来自一个物理现象：当我们把墨汁滴入水中，墨汁会均匀扩散；这个过程一般不能逆转，那AI可以做到吗？

当墨汁刚滴入水中时，我们能区分哪里是墨哪里是水，信息是非常集中的；当墨汁扩散开来，就很难区分哪里是墨哪里是水了，信息是分散的。类比于图片，这个墨水扩散的过程就是图片逐渐变成噪点的过程：从信息集中的图片变成信息分散、没有信息的噪点图很简单，逆转这个过程就需要AI的加持了。

研究人员对图片加噪点，让图片逐渐成为纯噪点图；再让AI学习这个过程的逆过程，也就是如何从一张噪点图得到一张有信息的高清图。

跟GAN相比，Diffusion是可以加条件的，也就是我们指定AI生成图片时描述的那句话。依靠这样的学习，AI就实现了我们看到的一句话生成图片的惊艳效果。

图片引用：

画宇宙 - 人工智能 AI 作画网站

• https://openai.com/blog/clip/

• https://unsplash.com/

图片：“我散开了” ～ Diffusion 的自白

• https://www.youtube.com/watch?v=yTAMrHVG1ew

• https://www.assemblyai.com/blog/diffusion-models-for-machine-learning-introduction/