cs231n:Lecture 15: Generative Models (Guest Lecture by Dr. Ruiqi Gao from Google DeepMind)

内容：

- 深度生成模型及在计算机视觉中的应用
- 变分自编码器
- 扩散模型
        - 离散时间扩散模型
        - 连续时间扩散模型：微分方程框架
- 案例研究：Imagen - 高保真度文本到图像的扩散模型
应用：content generation、表示学习、艺术工具

应用: Colorization, Inpainting, Restoration，Outfilling。跟数据增强有什么区别？

"Variational Autoencoders" ： "变分自编码器"。

变分自编码器（一）：原来是这么一回事 - 科学空间|Scientific Spaces
【VAE 模型基本原理简单介绍 -  CSDN App】http://t.csdnimg.cn/SEG5U

"Autoregressive approach" ： "自回归方法"。

什么叫做自回归方法？
自回归方法是一种生成模型的方法，其核心思想是通过条件概率链式法则将生成问题转化为一系列的条件概率估计。在自回归模型中，模型会依次生成序列中的每个元素，每个元素的生成都依赖于前面已经生成的元素。
具体而言，自回归方法通常涉及到使用已知的序列部分来预测序列中的下一个元素。这种方法在自然语言处理、时间序列分析和图像生成等领域得到广泛应用。例如，循环神经网络（RNN）和长短时记忆网络（LSTM）是常见的自回归模型，它们能够捕捉序列中的长期依赖关系。在图像生成中，自回归方法也可以应用于生成图像的像素序列。

"Latent variable approach" ： "潜变量方法"。

什么是潜变量方法：
潜变量方法是一类统计建模的方法，其基本思想是认为观察到的数据是由一些潜在（未观察到的）变量的影响所导致的。潜变量是不能直接观测到的，但它们的存在对观察到的数据产生了影响。
在潜变量方法中，通常假设观察到的数据是由潜变量和一个误差项组成的。模型的目标是通过观察到的数据来估计或推断潜变量的性质和参数。潜变量方法广泛应用于许多领域，包括统计学、机器学习、心理学等。
一些常见的潜变量方法包括潜在变量模型（Latent Variable Models）、潜在语义分析（Latent Semantic Analysis，LSA）、因子分析（Factor Analysis）等。这些方法在数据降维、模式识别和信息提取等任务中都有着重要的应用。

Latent variable approach - without y

• 问题：
• 边际似然 p(x) 是棘手的
• 因此无法直接进行最大似然估计

Variational Autoencoders (VAEs)
我们引入一个推断模型 q(z|x)
        • 这使我们能够通过证据下界（ELBO）有效地优化对数似然。
        • 我们联合优化 q(z|x) 和 p(x,z) 关于 ELBO。
        • 通过正确的 q(z|x)，下界是紧致的。

"Hierarchical VAEs"： "分层变分自编码器"。
        “平面”变分自编码器（VAEs）受到简单先验的限制
        通过使推断模型和生成模型都是分层的
        使用层次化的潜变量可以获得更好的似然。

挑战：
        • 对于大型模型，优化可能会变得困难
        • 通过其损失函数，ELBO在潜在变量 'z' 处施加了信息瓶颈，使得 VAE 优化容易陷入不良局部最小值。
        • 后验崩溃是一种令人恐惧的不良局部最小值，其中潜变量不传递任何信息。

Diffusion Models

【扩散模型（Diffusion Model）——由浅入深的理解 -  CSDN App】http://t.csdnimg.cn/FgtQb

去噪扩散模型
去噪扩散模型包括两个过程：
        • 前向扩散过程，逐渐向输入添加噪声
        • 反向去噪过程，通过去噪学习生成数据

前向扩散过程
在 T 步中前向过程的正式定义：

Diffusion Kernel(扩散核)。

"Generative Learning by Denoising（通过去噪进行生成式学习）"。

Reverse Denoising Process（反向去噪过程）

Learning Denoising Model Variational Upper Bound：学习去噪模型的变分上界

对去噪模型进行参数化

训练目标加权