[图片生成]使用VAEs生成新图片

变分自动编码器生成图片

从隐图像空间进行采样以创建全新的图像或编辑现有图像是目前创作AI最受欢迎和最成功的应用方式。

图像隐空间取样

图像生成的关键思想是开发表示的低维潜在空间（自然是矢量空间），其中任何点都可以映射到逼真的图像上。 能够实现该映射的模块，将潜在点作为输入并输出图像（像素网格），被称为生成器（在GAN的情况下）或解码器（在VAE的情况下）。一旦开发出这样的潜在空间，可以有意或无意地从中采样点，并通过将它们映射到图像空间，生成以前从未见过的图像。

GAN和VAE是用于学习图像表示的潜在空间的两种不同策略，每种都具有其自身的特征。*VAE非常适合学习结构良好的潜在空间，其中特定方向编码数据能产生有意义的变化轴。GAN生成的图像可能非常逼真，但它们来自潜在的空间可能没有那么多的结构和连续性*。

图片编辑的概念向量

给定潜在的表示空间或嵌入空间，空间中的某些方向可以编码原始数据中有趣的变化轴。例如，在面部图像的潜在空间中，可能存在微笑矢量s，使得如果潜在点z是某个面部的嵌入表示，则潜在点z+s是同一面部的嵌入表示，面带微笑。一旦确定了这样的矢量，就可以通过将图像投影到潜在空间中来编辑图像，以有意义的方式移动它们的表示，然后将它们解码回图像空间。

变分自动编码器

变分自动编码器，是一种生成模型，特别适用于通过概念向量进行图像编辑的任务。它们是自动编码器的现代版本 - 一种旨在将输入编码到低维潜在空间然后将其解码回来的网络 - 将来自深度学习的想法与贝叶斯推理混合在一起.
经典图像自动编码器通过编码器模块拍摄图像，将其映射到潜在的矢量空间，然后通过解码器模块将其解码回与原始图像具有相同尺寸的输出。然后通过使用与输入图像相同的图像作为目标数据来训练，这意味着自动编码器学习重建原始输入。通过对代码（编码器的输出）施加各种约束，可以使自动编码器学习或多或少有趣的数据潜在表示。最常见的是，将限制代码为低维和稀疏（大多数为零），在这种情况下，编码器可以将输入数据压缩为更少的信息位。

在实践中，这种经典的自动编码器不会导致特别有用或结构良好的潜在空间,也不太擅长数据压缩。由于这些原因，他们已经基本上不再流行。然而，VAE用统计方法增强了自动编码器，迫使他们学习连续的，高度结构化的潜在空间。它们已成为图像生成的强大工具。

VAE不是将其输入图像压缩为潜在空间中的固定代码，而是将图像转换为统计分布的参数：均值和方差。从本质上讲，这意味着假设输入图像是由统计过程生成的，并且此过程的随机性应在编码和解码期间用于计算。然后，VAE使用均值和方差参数随机采样分布的一个元素，并将该元素解码回原始输入。该过程的随机性提高了鲁棒性并迫使潜在空间在任何地方编码有意义的表示：在潜在空间中采样的每个点被解码为有效输出。

数学描述，VAE工作过程：
1. 编码器模块将输入样本input_img转换为表示的隐空间的z_mean和z_log_variance两个参数；
2. 通过z=z_mean + exp(z_log_variance)*epsilon 从假定生成输入图像的潜在正态分布中随机采样点z