qq_43456016的博客

【代码】生成式AI系列 —— DCGAN生成手写数字。

​ 生成对抗网络(GAN, Generative adversarial network)自从2014年被Ian Goodfellow提出以来，掀起来了一股研究热潮。GAN由生成器和判别器组成，生成器负责生成样本，判别器负责判断生成器生成的样本是否为真。生成器要尽可能迷惑判别器，而判别器要尽可能区分生成器生成的样本和真实样本。

与GAN 利用生成器和判别器进行对抗训练来生成图像不同，扩散模型则是通过对生成的随机噪声进行循环去噪来生成图像，就有点像雕刻一样，一块原石，随着大师一点一点地去除掉多余的部分，剩下的就是完美的艺术品。所使用的随机噪声需要和生成的目标图像具有相同的高宽。在扩散模型的去噪过程中，去噪的步骤数（step）是人工提前定好的，如1000等。这个step不仅是步骤数，也代表着噪声的严重程度信息。并且每次去噪所的Denoise 模块是同一个，进行反复使用。

Diffusers旨在成为一个用户友好且灵活的工具箱，用于构建针对您的用例量身定制的扩散系统。工具箱的核心是模型和scheduler。虽然为了方便起见将这些组件捆绑在一起，但您也可以拆分管道并单独使用模型和scheduler来创建新的扩散系统。在本教程中，您将学习如何使用模型和scheduler来组装用于推理的扩散系统，从基本管道开始，然后发展到稳定扩散管道。

今天我们来介绍一下怎么利用GAN生成属于的自己的漫画风头像。所需要用的生成模型为AnimeGAN2。

无条件生成型的一种流行应用，它生成的图像看起来像用于训练的数据集中的图像。与文本或图像到图像模型不同，。它只生成与其训练数据分布相似的图像。通常，通过在特定数据集上微调预训练模型可以获得最佳结果。本教程主要来自官方教程，结合一些自己的修改，以支持训练本地数据集。我们首先依据官方教程，利用史密森尼蝴蝶数据集的子集上从头开始训练，以生我们自己的的。最后因为我是搞遥感方向的（测绘小卡拉米），所以利用进行训练尝试，遥感影像使用的是煤矿区的无人机遥感影像，主要就是裸地和枯草，有的还有一些因为煤矿开采导致的地裂缝。