L2 Autoregressive Model

Lecture2 Autoregressive Models

Lecture2的主要内容是自回归模型，主要包括：

• Motivation
• Histogram
• Neural Autoregressive models
  • Parameterized distributions and maximum likelihood
  • Autoregressive models
    • RNN
    • Masking-based models

Likelihood-based Model

基于似然的模型主要做的一件事情是：根据数据集 { x ( 1 ) , … , x ( n ) } \{x^{(1)},\dots,x^{(n)}\} { x(1),…,x(n)}学习一个概率分布$p_{data}$。 学习到的$p_{data}$应该满足：

1. 我们可以得到任意sample $x$的概率密度$p(x)$
2. 我们可以从概率分布中采样出一个$x$

但是我们所处理的数据通常都是高维的，例如一张$128\times 128\times 3$的彩色图像，他的维度大约是$50000$。因此我们还希望我们的模型具有以下几个特点：

1. 训练过程高效
2. 模型表达能力强、泛化性强
3. 生成数据的质量高、速度快
4. 压缩率高、速度快

Histogram

最简单粗暴的方法就是根据训练集画一个直方图，我们只需要知道每个特征有哪些不同的取值然后计算frequency当作probability即可

根据直方图模型，我们可以轻松的进行以下两个操作：

1. Inference：给定一个$x$，求$p(x)$。可以直接看图说话
2. Sampling：根据CDF生成$x$。可以通过以下几步完成
   1. 首先计算出CDF： F i   =   ∑ j = 1 i p ( j )       i ∈ { 1 … k } F_{i}\ =\ \sum_{j=1}^{i}p(j)\ \ \ \ \ i\in \{1\dots k\} Fi​ = ∑j=1i​p(j)     i∈{ 1…k}，$k$是特征不同取值的数量
   2. 随机生成一个$0$到$1$之间的数$u$
   3. 返回最小的$i$满足$F_i\ge u$

然而，直方图模型最显而易见的缺点就是它无法应用在高维数据上。另一个问题就是他的泛化能力差，毕竟直方图是完全按照训练集的数据分布进行拟合，因此是很明显的过拟合，模型的方差会很大。我们想要的分布应该是如下图这种：

Likelihood-based Generative Model

为了克服histogram有的问题，我们引入一个参数$\theta$，让模型学习一个基于参数$\theta$的概率分布$p_{\theta }(x)$并且要求$p_{\theta }(x)$和$p_{data}(x)$越接近越好，这其实就是大多数ML模型在做的事情。

如何训练模型？我们需要定义一个损失函数，最优的参数应该满足最小化损失函数，即
$${\theta }^{\ast }=argmi{n}_{\theta }loss(\theta ,$$