机器学习--监督学习（一）

监督学习定义

在开始介绍监督学习之前，根据个人的理解，我们给监督学习一个形式化的定义：

给定数据集$S=\{x^{(i)}, y^{(i)}\}, 1 \le i \le m$，假设集合$H=\{h_1, h_2, ..., h_k\}$，以及经验误差 $\widehat\varepsilon =\frac1m\sum_1^m I\{h_i(x^{(i)}) \neq y^{(i)}\}$， 机器学习的目的是寻找经验误差最小的$h_i$满足：

$$\widehat h = argmin_ {h_i \in H}\ \ \widehat\varepsilon(h_i)$$

数据集S包含m个样本，针对不同的数据有不同的表现形式。对于$y^{(i)}$来说，如果其值是连续的则代表着一类回归问题，例如如房屋面积与价格的数据集。如果其值是离散的，则代表着一类分类问题，例如判断垃圾邮件的数据集。

假设集合$H$可以理解成我们对$y^{(i)}$与$x^{(i)}$之间关系的一种猜想，且所有$h_i$具有相同的形式，即$h_i$或者是线型模型，或者是非线性模型，亦或者是神经网络，SVM，不同的是每个$h_i$的参数是不同的。例如，对于线型模型$y^{(i)} =\theta_0^{(i)} + \theta_1^{(i)} * x^{(i)}$，对应于每一个$h_i$有一组$\theta_0^{(i)}$ ，$\theta_1^{(i)}$。

经验误差 $\widehat\varepsilon$表达的含义是我们希望找到这样一个$h_i$，它在S上的计算的错误率，即针对每一个样本应用假设$h_i$计算$h_i(x^{(i)})$的值，其中$h_i(x^{(i)}) \neq y^{(i)}$的样本数量最小。其中，$I\{true\}=1$，$I\{false\} = 0$。

监督问题解决方法

机器学习问题可以理解为在已知的解空间中搜索最优解的问题。搜索最优解的方法可以分为两类：判别学习方法(discriminative learning algorithm)和生成学习算法(generate learning algorithm)。

具体的说，判别学习算法是直接对$p(y|x)$进行建模，给出数据集中样本的特征x到分类标记y的映射关系。而生成学习算法是对每一个类别分别建模，用新的样例去匹配每一个模型，匹配度高的作为新样例的类别。其涉及到贝叶斯概率的知识，生成学习算法需要分别对条件概率$p(x|y)$和后验概率进行建模，然后按照贝叶斯公式：$p(y|x)=\frac {p(x|y)p(y)}{p(x)}$求出针对每一个模型的后验概率。实际中，我们往往省略$p(x)$，所以最终的要计算的是：

$$argmax_y {p(y|x)} = argmax_y \frac{p(x|y)p(y)}{p(x)} = argmax_y {p(x|y)p(y)}$$

判别学习算法

再深入介绍判别是算法之前，我们首先来介绍两个有用的概念指数分布和广义线型模型。

指数分布

指数分布是指可以表示为指数形式的概率分布。指数分布的形式如下：

$$P(y;\eta)=b(y)exp(\eta^T T(y)-a(\eta))$$ 其中， $\eta$是分布的自然参数(nature parameter)， $T(y)$是充分统计量(sufficient statistic)，通常 $T(y)=y$。当 a, b, T都固定的时候，就定义了一个以 $\eta$为参数的函数族。例如，伯努利分布，多项式分布，以及高斯分布都可以写成这种形式。

广义线型模型

在指数分布中，$\eta$以不同的映射与其他概率分布函数中的参数产生联系，从而得到不同的模型（参见下两节），例如逻辑回归模型以及最小二乘模型。这种能力可以形式化的定义为广义线型模型(Generalized Linear Model,GLM)：

1. $y|x;\theta \sim ExpFamily(\eta)$，即给定样本x与参数$\theta$，y服从指数分布族中的某个分布
2. 给定一个x, 我们需要的目标函数$h_\theta=E[T(y)|x]$
3. $\eta=\theta^Tx$

文章开始部分提到，监督学习的目的是寻找是误差最小的假设$h$，我们首先面对的问题就是如何确定$h$的形式，这就是广义线型模型的作用所在，在接下来的两节里我们将介绍如用使用广义线型模型推导出最小二乘模型和逻辑递归模型。

最小二乘模型

首先，我们将高斯分布转换成指数族分布。为了方便计算，将高斯分布的方差置为1，推导过程如下：

$$N(\mu, 1)=\frac 1{\sqrt 2\pi} exp(-\frac12(y-u)^2) = \frac1{\sqrt2\pi} exp(-\frac12{y^2} - \frac12{\mu^2}+\mu y) = \frac1{\sqrt2\pi} exp(-\frac12{y^2}) exp(\mu y-\frac12{\mu^2})$$
由指数分布族公式可知：
$$b(y)=\frac1{\sqrt 2\pi} exp(-\frac 12 y^2)$$
$$T(y) =y$$
$$\eta=\mu$$
$$a(\eta)=\frac12{\mu^2}$$

由广义线型模型可知：

$$h_\theta=E[T(y) | x] = E[y|x]=\mu=\eta=\theta^Tx$$

至此，我们已经确定了假设函数h的形式，并发现假设函数中一个未知变量$\theta$，最终问题转换成如何求解$\theta$。值的注意的是，这里的$\theta$和x是向量。根据广义线型模型和上述的推导过程，我们可以知道$y^{(i)} | x^{(i)}; \theta \sim N(\theta^Tx^{(i)}, \sigma)$，表达成概率的形式为：

$$P(y^{(i)} |x^{(i)}; \theta) = \frac 1{{\sqrt{2\pi}}\sigma} exp\left( - \frac{(\theta^Tx^{(i)} - y^{(i)})^2} {2 \sigma^2} \right)$$
这样，我们得到关于 $\theta$的似然函数：
$$l(\theta) = \prod_1^m P(y^{(i)} |x^{(i)}; \theta) = \prod_1^m {\frac 1{{\sqrt{2\pi}}\sigma} exp\left(- \frac{(\theta^Tx^{(i)} - y^{(i)})^2} {2 \sigma^2}\right)}$$

这里强调一下似然函数和概率的区别，个人理解它们本质上是一个表达式，关键在于以哪个参数为未知量。即如果认为上述表达式是关于随机变量x，y的，则该表达式是概率。反过来，如果认为其是关于$\theta$的一个一元函数，则就是似然函数。最大似然函数估计也就是计算是表达式去最大值的未知量$\theta$。

为了方便计算，我们对上式右边取对数：

$$L(\theta) = logl(\theta) = log{ \prod_1^m \frac1{\sqrt{2\pi} \sigma} exp\left(- \frac{(\theta^Tx^{(i)} - y^{(i)})^2} {2 \sigma^2}\right)}$$
$$=-mlog\sqrt{2\pi}\sigma - \frac 1{2\sigma^2} \sum_1^m\left (\theta^Tx^{(i)} - y^{(i)}\right)^2$$

由上式可知，为了使$L(\theta)$最大，必须保证$\frac 1{2\sigma^2} \sum_1^m\left (\theta^Tx^{(i)} - y^{(i)}\right)^2$最小，也即保证误差最小。这就是我们经常用到，但是不知所以然的误差的平方和最小的推导过程。

至于如何求解上式，暂时放到一边，我们稍后再做总结。

逻辑回归模型

首先，我们将伯努利分布转换成指数族分布：

$$P(y; \rho)=\rho^y(1-\rho)^{1-y}=exp(log\rho^y(1-\rho)^{1-y})$$
$$=exp(ylog\rho + (1-y)log(1-\rho))$$
$$=exp(ylog\frac\rho{1-\rho} + log(1-\rho))$$
由指数分布族公式可知：
$$b(y)=1$$
$$T(y)=y$$
$$\eta=log\frac\rho{(1-\rho)} \Rightarrow \rho=\frac1{1+e^{-\eta}}$$
$$a(\eta)=-log(1-\rho) = 1+e^{-\eta}$$
由广义线型模型可知：
$$h_\theta=E[T(y)|x]=E[y|x]=p(y=1|x;\theta)=\rho$$
$$=\frac1{1+e^{-\eta}}=\frac1{1+e^{-\theta^Tx}}$$

到这里，同样我们需要求解假设函数中的未知量$\theta$，不同的是y|x的分布变了，求解方法也发生了变化。这里有：

$$P(y|x;\theta) = \left(h_\theta(x)\right)^y \left(1-h_\theta(x)\right)^{1-y}$$
似然函数为：
$$l(\theta)=\prod_1^m P(y^{(i)} | x^{(i)}; \theta)$$
$$=\prod_1^m\left( h_\theta(x^{(i)})\right)^{y^{(i)}} \left( 1-h_\theta(x^{(i)}) \right)^{1-y^{(i)}}$$
同样，为了计算方便，取对数：

$$L(\theta)=logl(\theta)=\sum_1^m[y^{(i)} logh_\theta(x^{(i)}) + (1-y^{(i)})log(1-h_\theta(x^{(i)})) ]$$

生成学习算法

在这一节中，我们首先介绍输入值为连续的高斯判别算法，以及输入值为非连续的朴素贝叶斯算法。

高斯判别算法

高斯判别算法是一种生成学习算法，不要因为它的名字而混淆。在高斯判别算法中，$p(x|y)$属于多变量正太分布，对于二元分类问题其概率密度函数为：

$$p(x|y=0)=\frac1{(2\pi)^{2n} |\Sigma|^{\frac12}} exp\left(-\frac12(x-\mu_0)^T \Sigma^{-1}(x-\mu_0)\right)$$
$$p(x|y=1)=\frac1{(2\pi)^{2n} |\Sigma|^{\frac12}} exp\left(-\frac12(x-\mu_1)^T \Sigma^{-1}(x-\mu_1)\right)$$

其均值和协方差为：

$$E[x] = \int xp(x;\mu, \Sigma)dx =\mu$$
$$Cov(X)=E[(X-E[X])(X-E[X])^T]=E[XX^T]-(E[X])(E[X]^T)=\Sigma$$
$p(y)$属于伯努利分布,其概率分布为：
$$p(y)=\rho^y(1-\rho)^{1-y}$$

极大似然函数的对数形式，可以表示为：

$$L(\rho,\mu_0, \mu_1,\Sigma)=log\prod_1^m p(x^{(i)}|y^{(i)}; \Phi, \mu_0, \mu_1, \Sigma) p(y^{(i)}; \rho)$$

因此，可以得到各个参数的极大似然估计为：

$$\rho=\frac1m \sum_1^m I{y^{(i)}=1}$$
$$\mu_0=\frac {\sum_1^m I\{y^{(i)}=0\}x^{(i)}}{\sum_1^m I\{y^{(i)}=0\}}$$
$$\mu_1=\frac {\sum_1^m I\{y^{(i)}=1\}x^{(i)}}{\sum_1^m I\{y^{(i)}=1\}}$$
$$\Sigma=\frac 1m \sum_1^m(x^{(i)}-\mu_y^{(i)})(x^{(i)}-\mu_y^{(i)})^T$$

值得注意的是，在高斯判别算法的似然函数中包含了多种模型，比如上面的似然函数中包含了两个模型分别是$p(x|y=0)$以及$p(x|y=1)$，所以似然函数可能是这种形式的$L(\rho,\mu_0, \mu_1,\Sigma)=p(x|y=0)*p(x|y=1)*p(x|y=1)...$，这说明第一个样本服从模型$p(x|y=0)$，第二三个样本服从$p(x|y=1)$等等。最终反映在参数的极大似然估计中就是我们看到的$\sum_1^m I\{y^{(i)}=0\}x^{(i)}$，以此来表达服从该模型的样本的个数。

进一步，我们将下式整理得：

$$p(y=1|x;\rho,\mu_0,\mu_1,\Sigma)=\frac {p(x|y=1)p(y=1)}{p(x|y=1)p(y=1)+p(x|y=0)p(y=0)}$$
$$=\frac 1{1+exp(-\theta^Tx)}$$
可以看出，这是逻辑回归的公式。事实上，当先验概率分布服从指数分布族中的任何一个分布时都可以推导出逻辑回归模型。反之，逻辑回归模型的先验概率不一定必须时指数分布族。实际应用中，由于高斯判别分析算法比逻辑回归有更多的前置假设，所以当数据服从或大致服从正态分布时，使用高斯判别分析算法效果更好。否则，逻辑回归算法更有鲁棒性。

朴素贝叶斯

高斯判别算法是针对特征向量x为连续值时的问题。而朴素贝叶斯针对的时特征向量为离散值的问题。

我们知道生成学习算法需要分别对$p(x|y)$和$p(y)$进行建模，但是当影响因素比较多时，计算$p(x|y)$是比较困难的。例如邮件分类的实例中，假设词典里有50000个词，即向量长度为50000，向量中每个分量的取值为{0, 1}，那么如果直接计算$p(x_1,x_2,...x_{50000}|y)$，因为50000个词有$2^{50000}$种组合，所以要计算$2^{50000}-1$次$p(x_1,x_2,...x_{50000}|y)$，这是一个庞大的计算量。针对这种情况，朴素贝叶斯假设$x_1,x_2,...x_{50000}$是条件独立的，因此：

$$p(x_1,x_2,...x_{50000}|y)=p(x_1|y)p(x_2|y,x_1)...p(x_{50000}|x_1,x_2,...,x_{49999})$$
$$=p(x_1|y)p(x_2|y)...p(x_{50000}|y)$$
因此，若假设朴素贝叶斯方法的参数为：
$$\rho_y=p(y=1)$$
$$\rho_{j|y=1}=p(x_j=1|y=1)$$
$$\rho_{j|y=0}=p(x_j=1|y=0)$$
则，似然估计函数为：
$$L(\rho_y,\rho_{j|y=1},\rho_{j|y=0})=\prod_1^mp(x^{(i)},y^{(i)})=\prod_1^mp(x^{(i)}|y^{(i)})p(y^{(i)})$$
$$=\prod_1^m\left(\prod_1^np(x_j^{(i)}|y^{(i)})\right)p(y^{(i)})$$

最后，参数的似然估计为：

$$\rho_{j|y=1}=\frac {\sum_1^mI\{x_j^{(i)}=1 \land y^{(i)}=1\}} {\sum_1^mI\{y^{(i)}=1\}}$$
$$\rho_{j|y=0}=\frac {\sum_1^mI\{x_j^{(i)}=1 \land y^{(i)}=0\}} {\sum_1^mI\{y^{(i)}=0\}}$$
$$\rho_y=\frac {\sum_1^mI\{y^{(i)}=1\}} {m}$$

求解极大似然函数

以上部分讲述了解决问题的思路，即最终转化为极大似然估计问题。在这一节里，我们介绍几种求解极大似然估计的方法。

直接求导

这可能是最简单，也是我们最熟悉的方法。为了极值，我们令函数的导数为零，然后求解方程即可。不再详细介绍。

梯度上升/梯度下降

我们知道，梯度方向是增长最快的方向，因此沿着梯度的方向即可找到使似然函数值最大的变量的值，沿着梯度的反方向即可求出使误差函数(cost function)值最小的变量值（这也就是所谓的最小二乘法）。

梯度上升的更新规则如下：

$$\theta=\theta+\alpha \frac{ \partial L(\theta)} {\partial \theta}$$
梯度上升的更新规则如下：
$$\theta=\theta-\alpha \frac{ \partial L(\theta)} {\partial \theta}$$

梯度上升/梯度下降的收敛规则是：一是判断两次迭代后参数的变化,而是判断两次迭代后目标函数的变化。

具体梯度上升/梯度下降又分为：批梯度下降算法(batch gradient descent)和随机梯度下降
(stochastic gradient descent)，不再赘述。

牛顿方法

对于一个函数$f(x)$，如果我们要求解$f(x)=0$的解，我们先随机选一个点,然后求出该点的切线,即导数,延长它使之与 x 轴相交,以相交时的 x 的值作为下一次迭代的值。更新规则为:

$$\theta^{(t+1)}=\theta^{(t)}- \frac {f(\theta^{(t)})} {f'(\theta^{(t)})}$$
同理，我们优化的目标函数为极大似然估计 L,当极大似然估计函数取值最大时,其导数为 0,这样就和上面函数 f 取 0 的问题一致了。极大似然函数的求解更新规则是:
$$\theta^{(t+1)}=\theta^{(t)}- \frac {f'(\theta^{(t)})} {f''(\theta^{(t)})}$$
当参数 $\theta$为向量时，更新规则为：
$$\theta^{(t+1)}=\theta^{(t)}-H^{-1}\nabla_{\theta}L$$
H 是函数的二次导数矩阵,被成为 Hessian 矩阵。

参考

1. http://blog.csdn.net/column/details/ml-ng-record.html