AIGC产业中的图片生成的技术发展及原理

什么是图像生成

运用人工智能技术,将指定的数据进行单模态或跨模态生成图像的过程.由于目标和输入模态的不同,图像生成分为3种,分别是image composition(图像合成),image-to-image(给定的图片生产新图片),text-to-image(文本生成图像).

应用领域

在平面设计,游戏制作,动画等领域都有广泛的应用,而且在医学影像合成与分析,化合物合成和药物发现等方面,图像生成将具有很大的潜力.

关键的技术阶段

图像生成的技术发展阶段大致经历了以下几个阶段:
第一个阶段:GAN生成阶段

生成对抗网络（GAN）是上一代主流图像生成模型，GAN通过生成器和判别器进行博弈训练来不断提升生成能力和鉴别能力，使生成式网络的数据愈发趋近真实数据，从而达到生成逼真图像的目的。但在发展过程中，GAN也存在稳定性较差、生成图像缺乏多样性、模式崩溃等问题。

第二个阶段：自回归生成阶段

自回归模型进行图像生成的灵感得益于NLP预训练方式的成功经验，利用Transformer结构中的自注意力机制能够优化GAN的训练方式，提高了模型的稳定性和生成图像的合理性，但基于自回归模型的图像生成在推理速度和训练成本方面的问题，使其实际应用受限。

第三个阶段：扩散模型生成阶段

对于前代模型在性能方面的局限性，扩散模型（Diffusion Model）已经使这些问题得到解决，其在训练稳定性和结果准确性的效果提升明显，因此迅速取代了GAN的应用。而对于产业应用中的大量跨模态图像生成需求，则需要结合CLIP进行，CLIP基于文本-图像对的训练方式能够建立跨