机器学习 Generative Learning Algorithm (A)

引言

前面几讲，我们主要探讨了如何对 p(y|x;$\theta$) (即$y$ 相对于$x$的条件概率)进行建模的几种学习算法，比如，logistic regression 对 p(y|x;$\theta$) 进行建模的假设函数为 $h_{\theta}(x)=g(\theta^{T}x)$, 其中函数 $g$ 为 sigmoid 函数。这一讲我们要讨论另外一类完全不同的学习算法。

在介绍这类算法之前，我们先来看一个简单的分类问题，比如我们想要设计一个算法区分大象$(y=1)$和狗$(y=0)$。基于这两种动物的某些特征，前面介绍的算法比如 logistic regression 会试着在这两类样本之间找到一条直线，这条直线可以称之为决策边界，用来区分大象和狗，对于一个新来的测试样本，可以根据该样本落在决策边界的哪一边来决定新输入的测试样本是大象还是狗。

我们还可以从另外一个角度考虑，我们不去寻找这样一条决策边界，我们可以尝试建立一个模型分别描述这两种动物，因为狗有狗的样子，大象有大象的样子，如果建立的模型可以精确地描述这两类动物，并且将彼此之间的不同点区分开来，那么对于新输入的测试样本，我们可以看测试样本与哪类动物的描述更加接近，进而可以判断与某类动物的描述越接近，则该测试样本属于该类的概率就越大。

通常，直接求$y$ 相对于$x$的条件概率即 p(y|x;$\theta$) 的算法 (比如 logistic regression)，或者直接将输入变量映射到输出值的算法 (比如感知器，神经网络一类) ， 这些都称为 discriminative 学习算法，而这一讲，我们介绍的算法是求 p(x|y) 和 p(y)，这些算法我们称为 generative学习算法。例如，如果 $y$ 表示一个样本是狗(0)或者大象(1)，那么 p(x|y=0) 给出的是狗这一类的特征分布，p(x|y=1) 给出的是大象这一类的特征分布。

一旦得到了 p(y) (也称为先验概率)和 p(x|y),利用贝叶斯准则，可以算出 $y$ 相对于 $x$ 的后验概率：

$$\begin{equation*} p(y|x)=\frac{p(x|y)p(y)}{p(x)} \end{equation*}$$
其中，p(x) = p(x|y = 1)p(y = 1) + p(x|y =0)p(y = 0), 因此，上式可以完全用 p(x|y) 和 p(y) 来表示，事实上，如果用 p(y|x)来做预测的话，不用算出 p(x)的具体值，因为该式子满足如下关系：

$$\begin{equation*} \text{arg} \max_{y} \text{p}(y|x)=\text{arg} \max_{y} \frac{p(x|y)p(y)}{p(x)} = \text{arg} \max_{y} p(x|y)p(y) \end{equation*}$$
所以，只要有 p(x|y) 和 p(y) 就足够了。

Gaussian discriminant analysis

我们介绍的第一个 generative 学习算法是Gaussian discriminant analysis (GDA). 这里我们将假设 p(x|y) 服从多元正态分布，在介绍Gaussian discriminant analysis (GDA) 之前，我们先简要讨论一下多元正态分布的特性。

The multivariate normal distribution

n 维空间的多元正态分布，也叫多元高斯分布，可以由均值向量(mean vector) $\mu \in \mathbb{R}^{2}$和协方差矩阵(covariance matrix)
$\Sigma \in \mathbb{R}^{n}$ 描述，其中 $\Sigma \geqslant 0$ 是对称并且半正定的，该分布可以简写为 $N(\mu,\Sigma)$,其概率密度为：

$$\begin{equation*} p(x;\mu, \Sigma)=\frac{1}{{(2 \pi)}^{n/2} {|\Sigma|}^{1/2}} \text{exp} \left( -\frac{1}{2}(x-\mu)^{T} \Sigma (x-\mu) \right) \end{equation*}$$
其中， $|\Sigma|$ 表示矩阵 $\Sigma$ 的 determinant.
对于一个服从 $N(\mu,\Sigma)$ 分布的随机变量 $X$, 它的期望值为$\mu$,即：
$$\begin{equation*} E[X]=\int_{x} x p(x;\mu, \Sigma) dx= \mu \end{equation*}$$
高维随机变量的协方差定义为： $Cov(Z)=E[(Z-E(Z))(Z-E(Z))^{T}]$.该式子可以进一步简化为： $Cov(Z)=E[ZZ^{T}]-(E[Z])(E[Z]^{T})$. 如果 $X \sim N(\mu,\Sigma)$,那么， $$Cov(X)=\Sigma$$

The Gaussian Discriminant Analysis model

在分类问题中，如果输入的是连续的随机变量，那么我们可以用 Gaussian Discriminant Analysis (GDA) 模型，利用多元正态分布来描述 p(x|y), 该模型可以表示如下：

$$y \sim \text{Bernoulli}(\phi)$$
$$x|y=0 \sim N(\mu_{0}, \Sigma)$$
$$x|y=1 \sim N(\mu_{1}, \Sigma)$$
其概率密度为：
$$\begin{equation*} \begin{split} p(y) & = \phi^{y}(1-\phi)^{1-y} \\ p(x|y=0) & =\frac{1}{{(2 \pi)}^{n/2} {|\Sigma|}^{1/2}} \text{exp} \left( -\frac{1}{2}(x-\mu_{0})^{T} \Sigma (x-\mu_{0}) \right) \\ p(x|y=1) & =\frac{1}{{(2 \pi)}^{n/2} {|\Sigma|}^{1/2}} \text{exp} \left( -\frac{1}{2}(x-\mu_{1})^{T} \Sigma (x-\mu_{1}) \right) \end{split} \end{equation*}$$
其中，我们要估计得参数有 $\phi$, $\mu_{0}$, $\mu_{1}$ 和 $\Sigma$ (请注意：虽然这里有两个不同的期望值，但是对于同一组训练样本，该模型通常只用一个
协方差矩阵)。 该模型的 log-likelihood 是：
$$\begin{equation*} \begin{split} l(\phi, \mu_{0}, \mu_{1}, \Sigma) & =\text{log} \prod_{i=1}^{n} p(x^{(i)}, y^{(i)}; \phi, \mu_{0}, \mu_{1}, \Sigma) \\ & = \text{log} \prod_{i=1}^{n} p(x^{(i)} | y^{(i)}; \phi, \mu_{0}, \mu_{1}, \Sigma) p(y^{(i)}; \phi) \end{split} \end{equation*}$$
进一步，我们利用最大似然估计，可以得到这些参数的最大似然估计值：
$$\begin{equation*} \begin{split} \phi & =\frac{1}{m} \sum_{i=1}^{m} 1\{y^{(i)}=1\} \\ \mu_{0}& =\frac{\sum_{i=1}^{m} 1\{y^{(i)}=0\} x^{(i)}} { \sum_{i=1}^{m} 1\{y^{(i)}=0\} } \\ \mu_{1}& =\frac{\sum_{i=1}^{m} 1\{y^{(i)}=1\} x^{(i)}} { \sum_{i=1}^{m} 1\{y^{(i)}=1\} } \\ \Sigma & = \frac{1}{m} \sum_{i=1}^{m} ( x^{(i)}-\mu_{y^{(i)}}) ( x^{(i)}-\mu_{y^{(i)}})^{T} \end{split} \end{equation*}$$
一旦得到这些参数，那么给定一个新的测试样本，我们可以利用这些参数算出 p(x|y=0) 和 p(x|y=1)，测试样本属于概率大的哪一类。

GDA and logistic regression

GDA模型与 logistic regression 之间存在着有趣的联系，如果我们将条件概率 $p(y=1|x; \phi, \mu_{0}, \mu_{1}, \Sigma)$ 看成是关于 $x$ 的函数，那么该条件概率可以表示成：

$$p(y=1|x; \phi, \mu_{0}, \mu_{1}, \Sigma)=\frac{1}{1+\text{exp}(-\theta^{T}x)}$$
其中 $\theta$ 是变量 $\phi, \mu_{0}, \mu_{1}, \Sigma$ 的函数。很显然，GDA 是 generative 学习算法，而 logistic regression 是 discriminative 学习算法，一般来说，对于同一组训练样本，两种学习算法给出的决策边界是不同的。那么，这两种方法应该如何选择呢？

我们可以看到，如果p(x|y)是多元高斯分布，那么p(y|x)是满足logistic 函数关系的，但是反过来不一定成立，即p(y|x)如果是logistic 函数，p(x|y)不一定是多元高斯分布。这意味着，GDA 给出的假设比logistic regression 要更强，如果假设是正确的(比如数据确实符合多元高斯分布)，那么 GDA 会给出更好的拟合模型和结果。特别地，如果 p(x|y) 确实满足多元高斯分布，那么GDA是 asymptotically efficient。 这意味着，如果训练样本非常多的时候，严格意义上来说，GDA 给出的预测结果应该是最好的，其他的算法很难超越它(取决于对 p(y|x)的估计有多准确)，这种情况下，GDA的表现应该比logistic regression 更好。

相反，logistic regression 给出的假设相对较弱，所以logistic regression 更加稳健，对模型的假设有更大的容错性，很多不同的数据分布的假设最终可以用logistic函数表示，比如前面提到的泊松分布，如$x|y=0 \sim Possion(\lambda_{0})$, $x|y=1 \sim Possion(\lambda_{1})$， 那么p(y|x)将是一个logistic function， logistic regression 对于服从泊松分布的数据可以很好的拟合，如果用GDA进行拟合，也就是说用高斯模型来拟合非高斯分布的数据，这个结果可能很好也可能很糟。

总而言之，GDA给出的是更强的假设，当数据分布接近高斯分布时，一般来说GDA会更加高效，可以用较少的数据训练出性能不错的模型。而logistic regression给出的是相对较弱的假设，但是对不同的数据分布有更稳健的包容性。具体来说，当数据分布不服从高斯分布的,logistic regression 的表现几乎总是优于GDA，所以在实际的应用中，logistic regression 比GDA要用得更加广泛。

参考文献

Andrew Ng, “Machine Learning”, Stanford University.