深度生成模型阅读笔记（一）

《深度生成模型》是一本关于深度学习中生成模型的重要参考资料。本书深入浅出地介绍了生成模型的基本原理、常用方法和实践技巧。本书首先介绍了生成模型的基本概念和应用场景，解释了生成模型与判别模型的区别，并详细讨论了生成模型在图像处理、自然语言处理等领域的成功应用。接着，书中系统地介绍了几种常见的生成模型，包括基于概率图模型的隐马尔可夫模型（HMM）和贝叶斯网络，以及基于神经网络的生成对抗网络（GAN）和变分自编码器（VAE）。对于每种模型，书中都提供了详细的原理解释和算法实现，使读者能够深入理解其内部工作原理。

——ChatGPT

写在前面：

借着GPT的风，想要开始深入的研究类似LLM这样的大模型背后的原理。今天读了《深度生成模型》第一章的内容，前面主要还是简单介绍了传统机器学习和一点点计算机视觉的基础内容。虽然是一些只要学过一点人工智能课的大家可能都已经熟知的内容，但是我认为要想深入学习，这些还是必不可少的，尤其在我读到后面发现其实研究深度生成模型还是像在大学的时候啃西瓜书一样，是在研究里面的数学。我的数学非常不好，所以我可以理解因此感到害怕继续深入进行研究和学习的人，但是在大学的时候，同时学习数学和机器学习真的会有触动到自己的时候，因为在学习机器学习的时候，其实也相当于自己在将学到的数学知识应用在实际中，会莫名感到神奇，尤其是在推导的过程中突然联想到数学中的一个特性，一个性质，一个理论的时候，仿佛和当时研究机器学习算法的科学家产生了共鸣。之后就会爱上它。

《深度生成模型》在第一章对深度生成模型进行了定义。作者将其分为四大类：自回归模型（Autoregressive Model, ARM）、流模型（flow-based model）、隐变量模型（latent variable model）、基于能量的模型（energy-based model）。乍看名字的时候感觉挺熟悉的这几个模型在西瓜书和圣经中多少都有设计，甚至有详细介绍的，但是深度生成模型就是由它们所组成，这让我感觉不可思议。这里作者还强调了其实这里“深度生成模型”中的“深度”应该加一个括号，因为到目前为止，大部分所讨论的内容都可以不用神经网络来建模。这就为我的不可思议做了些许解释了。

之后是对这四大类做了简要的介绍，下面我也会只是简单的列出公式和简介，后面的阅读中作者会慢慢详细与我们一一道来。

自回归模型（Autoregressive Model, ARM）：

式中表示所有的x直到index i， x的分布使用自回归方式表达。

流模型（flow-based model）：

变量替换公式通过使用一个可逆变换  来严谨的表达随机变量的密度，式中， 表示雅可比矩阵。

隐变量模型（latent variable model）：

 ~ 

 ~ 

隐变量代表了数据中隐藏的因素，而条件分布 被当作一个生成器。这里可以参考概率主成分分析（PCA），它也是一种隐变量模型，还有之后会在本书中学到的大名鼎鼎的VAE(Variational Auto-Encoder，变分自动编码器)，也是由其扩展而来，期待。

基于能量的模型（energy-based model）：

式中，是配分函数。