L2 Autoregressive Model

Lecture2 Autoregressive Models

Lecture2的主要内容是自回归模型，主要包括：

• Motivation
• Histogram
• Neural Autoregressive models
  • Parameterized distributions and maximum likelihood
  • Autoregressive models
    • RNN
    • Masking-based models

Likelihood-based Model

基于似然的模型主要做的一件事情是：根据数据集 { x ( 1 ) , … , x ( n ) } \{x^{(1)},\dots,x^{(n)}\} {x(1),…,x(n)}学习一个概率分布$p_{data}$。 学习到的$p_{data}$应该满足：

1. 我们可以得到任意sample $x$的概率密度$p(x)$
2. 我们可以从概率分布中采样出一个$x$

但是我们所处理的数据通常都是高维的，例如一张$128\times 128\times 3$的彩色图像，他的维度大约是$50000$。因此我们还希望我们的模型具有以下几个特点：

1. 训练过程高效
2. 模型表达能力强、泛化性强
3. 生成数据的质量高、速度快
4. 压缩率高、速度快

Histogram

最简单粗暴的方法就是根据训练集画一个直方图，我们只需要知道每个特征有哪些不同的取值然后计算frequency当作probability即可

根据直方图模型，我们可以轻松的进行以下两个操作：

1. Inference：给定一个$x$，求$p(x)$。可以直接看图说话
2. Sampling：根据CDF生成$x$。可以通过以下几步完成
   1. 首先计算出CDF： F i   =   ∑ j = 1 i p ( j )       i ∈ { 1 … k } F_{i}\ =\ \sum_{j=1}^{i}p(j)\ \ \ \ \ i\in \{1\dots k\} Fi​ = ∑j=1i​p(j)     i∈{1…k}，$k$是特征不同取值的数量
   2. 随机生成一个$0$到$1$之间的数$u$
   3. 返回最小的$i$满足$F_i\ge u$

然而，直方图模型最显而易见的缺点就是它无法应用在高维数据上。另一个问题就是他的泛化能力差，毕竟直方图是完全按照训练集的数据分布进行拟合，因此是很明显的过拟合，模型的方差会很大。我们想要的分布应该是如下图这种：

Likelihood-based Generative Model

为了克服histogram有的问题，我们引入一个参数$\theta$，让模型学习一个基于参数$\theta$的概率分布$p_{\theta }(x)$并且要求$p_{\theta }(x)$和$p_{data}(x)$越接近越好，这其实就是大多数ML模型在做的事情。

如何训练模型？我们需要定义一个损失函数，最优的参数应该满足最小化损失函数，即
$${\theta }^{\ast }=argmi{n}_{\theta }loss(\theta ,x^{(1)},x^{(2)},\dots ,x^{(n)})$$
而我们定义的损失函数以及我们寻找最优解的过程应该满足：

1. 能够应对大规模数据集
2. $p_{{\theta }^{\ast }}(x)$应该和$p_{data}(x)$匹配
3. 得到的模型应该具有良好的泛化能力

Maximum Likelihood

给定数据集 { x ( 1 ) , … , x ( n ) } \{x^{(1)},\dots,x^{(n)}\} {x(1),…,x(n)}，我们可以通过解决以下的优化问题找到参数$\theta$：
$$argmi{n}_{\theta }loss(\theta ,x^{(1)},\dots ,x^{(n)})=\frac{1}{n}\sum _{i=1}^n-log{p}_{\theta }(x^{(i)})$$
也就是经典的最大对数似然法。这个与最小化$p_{\theta }(x)$和$p_{data}(x)$之间的KL散度是等价的：
$$\begin{gathered} p_{data}(x)=\frac{1}{n}\sum _{i=1}^{n}1[x=x^{(i)}] \\ KL(p_{data}||p_{\theta })=\sum _{x\sim p_{data}}{p}_{data}(x)log(\frac{p_{data}(x)}{p_{\theta }(x)}) \end{gathered}$$

Autoregressive Models

首先回顾一些概率论里的东西，假如我们要计算多元随机变量的联合概率分布，我们可以根据chain rule进行拆分，例如：
$$p(x,y,z)=p(x)\cdot p(x|y)\cdot p(z|x,y)$$
我们知道生成式模型是对联合概率进行建模，而应用了上述的chain rule之后，我们发现得到的目标函数很适合用之前的maximum likelihood方法进行优化
$$\begin{gathered} p_{\theta }(x)=\prod _{i=1}^d{p}_{\theta }(x_i|x_{1:i-1}) \\ log{p}_{\theta }(x)=\sum _{i=1}^{d}log{p}_{\theta }(x_i|x_{1:i-1}) \end{gathered}$$
这也被称为Autoregressive Model

那么，Autoregressive Model能够解决之前提到的高维数据问题么？实际上Autoregressive Model依旧存在两个问题：

1. 对于$n$维数据，模型参数是$O(d)$的。而这个$d$其实可以很大
2. 泛化能力有限，不同的条件概率分布之间没有共享任何信息

解决这两个问题的有效方法就是进行参数共享

Recurrent Neural Network

比较经典的一类Autoregressive Model就是RNN。在Transformer霸榜以前，RNN模型是被广泛用于文本生成任务的。

RNN的模型结构完美的符合了Autoregressive Model的要求，即在每个时间步我们只能看到之前的数据。而参数共享的实现有三个部分：

• $W_{xh}$: 即输入与当前隐状态之间的参数
• $W_{hh}$: 即上一个隐状态与当前隐状态之间的参数
• $W_{hy}$: 即当前隐状态与输出之间的参数

RNN模型也可以用于图像生成，比如生成MNIST，如果给模型加一个类似positional encoding的输入，RNN也能取得不错的效果

Masking-based Autoregressive Model

Masking-based Autoregressive Model的核心特征是对所有条件概率进行并行运算。

Masked Autoencoder for Distribution Estimation (MADE)

考虑一个普通的MLP，我们输入几张图片进去，得到输出。但是这个输出并不是我们想要的概率分布，它可以表示某种分布，但是没有normalized。MADE模型所做的事情就是通过chain rule将输出进行normalize，得到我们想要的proper distribution。而实现的方式是先给输入数据赋一个ordering，比如在上图中就是3 1 2，然后应用chain rule：$x_2$不依赖于任何其他输入，$x_3$依赖于$x_2$，$x_1$依赖于$x_2,x_3$。然后，基于这种依赖关系，MADE设计了相应的mask以确保模型在forward过程中满足这些关系。

MADE中具体的mask设计方法是这样的：

1. 对于每一个neuron，生成一个$1$到$D-1$的随机数$m$
2. 对于第$k$个neuron，我们令$m(k)$表示这个neuron最多能够连接的input数量
3. 对于input和hidden units之间或者hidden units与hidden units之间的mask，$M_{k,d}^W=I[m(k)\ge d]$
4. 对于hidden units与output之间的mask，$M_{d,k}^V=I[m(k)<d]$

而$M^{W,V}=M^W{M}^V$就能够表示从每个input到每个output的路径，可以证明这个矩阵是严格lower diagonal的，也就能够满足Auto-regressive的性质。

上图是MADE在MNIST数据集上sampling的效果，可以看出MADE的expressiveness和generalize ability都是不错的。

WaveNet

WaveNet是语音领域的一个经典模型。首先我们来看普通的Masked 1D Convolution。

根据Autoregressive Model的要求，我们只能看到当前数据之前的数据，因此我们也只能对之前的数据进行卷积。这种模型的优点是：

• 比较容易实现，可以直接对卷积核进行mask
• 参数量是一个常数
• 计算效率高

但是一个很大的缺点是感受野(receptive field)十分有限，从上图就能看出，三层的hidden layer感受野才只有5，因此要获得较大的感受野，必须增加多层卷积网络或者用很大的卷积核。

WaveNet对卷积进行了改进，设计了一种dilated convolution，直观感受就是模型在跳步进行卷积，随着深度的增加，步长也越大。

除了这一改进，WaveNet还设计了更加优秀的网络结构来增强模型的表达能力，包括使用了残差连接和门控机制

PixelCNN

PixelCNN可以看作是WaveNet的二维卷积形式，在图像生成领域应用很广泛。同样的问题，当我们想生成像素点$x_i$的时候，我们只能看到$x_i$之前的像素点，而不能看到之后的。因此还是需要对卷积核进行一个mask操作。

一种简单的方式就是设计如下图的mask

而根据前面介绍的MADE模型，我们知道layer与layer之间是可以有horizontal connection的。因此PixelCNN中的mask也分为type A mask和type B mask。 type A mask就是上图这种，表示input与first layer之间的卷积核mask；type B mask则是允许当前像素点可见，也就是中心的那个pixel的mask值现在变为1。

Improvements

但是这种mask产生了一个问题叫做：blind spot in receptive field

这个问题的产生是由于我们的mask只能看到上面那个L型，因此当我们卷积到比较靠两边的像素点时，mask为0的区域我们永远也无法看到。

PixelCNN对此的改进是对于每个像素点，我们把mask值为1的区域分成两个部分，一个部分是像素点所在行之前的所有行，也就是像素点上方的矩形区域；另一个部分是像素点当前行左边的部分。上方的矩形部分我们把它叫做Vertical Stack，左边的长条部分叫做Horizontal Stack。通过对这两个部分分别进行卷积，再合并，就能解决blind spot的问题。

另一个改进来源于PixelRNN，作者引入了LSTM的门控机制，提出Gated PixelCNN
$$y=tanh(W_{k,f}\ast x)\cdot \sigma (W_{k,g}\ast x)$$
改进后的PixelCNN结构如下图所示，左边的输入表示Vertical Stack， 右边的是Horizontal Stack，绿色的部分表示卷积操作以及卷积核的大小。

Conditional PixelCNN

朴素的PixelCNN在学习的是以下的概率分布：
$$p(x)=\prod _{i=1}^{n^2}p(x_i|x_{i-1},x_{i-2},\dots ,x_1)$$
实际上我们还可以给模型一个high-level image description latent vector $h$，这个$h$可以表示图片所属的类别，或者表示图片中一些位置信息（文中提到可以通过deconvolution训练出一个与图中位置相关的特征表示$s=m(h)$）。于是模型接下来train的就变成了一个条件概率：
$$p(x)=\prod _{i=1}^{n^2}p(x_i|x_{i-1},\dots ,x_1,h)$$
具体融合$h$的方式类似于把它作为卷积的一个bias
$$y=tanh(W_{k,f}\ast x+V_{k,f}^{T}h)\cdot \sigma (W_{k,g}\ast x+V_{k,g}^{T}h)$$

Masked Attention

Attention是masking-based模型中最典型的一种，也是目前最热门的一种。对于Multi-head Self-Attention的计算过程就不多赘述了，而实现Autoregressive的方法也很简单，只需要设计一个只能看到前面数据的mask就可以，自己和之后的数据置为一个非常小的值，这样再取$exp$就近似于0。