机器学习 第3章-线性模型

机器学习 第3章-线性模型

3.1 基本形式

给定由d个属性描述的示例$x=(x_1;x_2;...;x_d)$,其中$x_i$是$x$在第$i$个属性上的取值,线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数，即
$$f(x)=w_1{x}_1+w_2{x}_2+\cdot \cdot \cdot +w_d{x}_d+b$$
一般用向量形式写成
$$f(x)=w^{T}x+b$$
其中$w=(w_1;w_2;...;w_d)$，$w$和$b$学得之后，模型就得以确定了。

线性模型形式简单、易于建模,但却蕴涵着机器学习中一些重要的基本思想.许多功能更为强大的非线性模型(nonlinear model)可在线性模型的基础上通过引入层级结构或高维映射而得.此外,由于w直观表达了各属性在预测中的重要性,因此线性模型有很好的可解释性(comprehensibility).

例如若在西瓜问题中学得“$f_{好瓜}(x)=0.2\cdot 色泽+0.5\cdot 根蒂+0.3\cdot 敲声+1$”,则意味着可通过综合考虑色泽、根蒂和敲声来判断瓜好不好,其中根蒂最要紧,而敲声比色泽更重要

3.2 线性回归

给定数据集 $D=(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$，其中$x_i=(x_{i1};x_{i2};...;x_{id}),y_i\in R$.

“线性回归”(linear regression)试图学得一个线性模型以尽可能准确地预测实值输出标记。

线性回归试图学得
$$f(x_i)=w{x}_i+b，使得f(x_i)\simeq y_i$$
如何确定 $w$ 和$b$呢？显然,关键在于如何衡量 $f(x)$与$y$之间的差别.

因此我们可试图让均方误差最小化,即
$$(w^{\ast },b^{\ast })=argmi{n}_{(w,b)}\sum _{i=1}^m(f(x_i)-y_i{)}^2=argmi{n}_{(w,b)}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$
均方误差有非常好的几何意义,它对应了常用的欧几里得距离或简称“欧氏距离”(Euclidean distance).基于均方误差最小化来进行模型求解的方法称为“最小二乘法”(least square method).在线性回归中,最小二乘法就是试图找到一条直线,使所有样本到直线上的欧氏距离之和最小.

求解 $w$ 和 $b$使 $E_{(w,b)}={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$最小化的过程,称为线性回归模型的最小二乘“参数估计”我们可将 $E_{(w,b)}分别对 $w$ 和$b$求导,得到
$$\frac{\partial E_{(w,b)}}{\partial w}=2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i)$$
$$\frac{\partial E_{(w,b)}}{\partial b}=2(mb-\sum _{i=1}^m(y_i-w{x}_i))$$
然后令上式都为0则有$w$ 和 $b$最优解的闭式(closed-form)解：
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$
$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$
其中$\bar{x}=\frac{1}{m}{\sum }_{i=1}^m{x}_i$

在更一般的情形下，有：
$$f(x_i)=w^T{x}_i+b，使得f(x_i)\simeq y_i$$
这称为"多元线性回归"

类似的，可利用最小二乘法来对$w$和$b$进行估计.为便于讨论,我们把$w$和$b$吸收入向量形式 $\hat{w}=(w;b)$

相应的,把数据集 D表示为一个 $m\ast (d+1)$大小的矩阵$X$,其中每行对应于一个示例,该行前$d$个元素对应于示例的$d$个属性值,最后一个元素恒置为1,即

再把标记也写成向量形式$y=(y_1;y_2;...;y_m)$,则有：
$${\hat{w}}^{\ast }=argmi{n}_{\hat{w}}(y-X\hat{w}{)}^T(y-X\hat{w})$$
令$E=(y-X\hat{w}{)}^T(y-X\hat{w})$，对$\hat{w}$求导，得：
$$\frac{\partial E_{\hat{w}}}{\partial \hat{w}}=2X^T(X\hat{w}-y)$$
令上式为零可得$\hat{w}$最优解的闭式解

当$X^{T}X$满秩或者正定时，令前一个式子为0则有：
$${\hat{w}}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$$
再令${\hat{x}}_i=(x_i,1)$,则最终学得的多元线性回归模型为
$$f({\hat{x}}_i)={\hat{x}}_i^T(X^{T}X{)}^{-1}{X}^{T}y$$
令$y=g^{-1}({\text{w}}^T\text{x}+b)$，叫做广义线性模型，函数g叫做联系函数。

3.3 对数几率回归

考虑二分类任务,其输出标记$y\in 0,1$,而线性回归模型产生的预测值$z=w^{T}x+b$是实值

于是,我们需将实值z转换为0/1值.最理想的是“单位阶跃函数”，即：
$$y=\{\begin{array}{ll}0& z<0\\ 0.5& z=0\\ 1& z>0\end{array}$$
即若预测值z大于零就判为正例，小于零则判为反例，预测值为临界值零则可任意判别，

单位阶跃函数不连续，因此不够理想。常用对数几率函数
$$y=\frac{1}{1+e^{-z}}$$
来替代广义线性模型的g函数。那么可以得到线性回归函数为：
$$y=\frac{1}{1+e^{-(w^{T}x+b)}}$$
实际上是在用线性回归模型的预测结果去逼近真实标记的对数几率,因此,其对应的模型称为“对数几率回归”.特别需注意到,虽然它的名字是“回归”,但实际却是一种分类学习方法.它是直接对分类可能性进行建模,无需事先假设数据分布,这样就避免了假设分布不准确所带来的问题;它不是仅预测出“类别”,而是可得到近似概率预测,这对许多需利用概率辅助决策的任务很有用:此外,对率函数是任意阶可导的凸函数,有很好的数学性质,现有的许多数值优化算法都可直接用于求取最优解.

若$w$和$b$确定，令$\beta =(w;b)$可得第t+1轮迭代解的更新公式为:
$${\beta }^{t+1}={\beta }^t-(\frac{{\partial }^{2}l(\beta )}{\partial \beta \partial {\beta }^T}{)}^{-1}\frac{\partial l(\beta )}{\partial \beta }$$
其中
$$\frac{\partial l(\beta )}{\partial \beta }=-\sum _{i=1}^m{\hat{x}}_i(y_i-p_1({\hat{x}}_i;\beta ))$$
$$\frac{{\partial }^{2}l(\beta )}{\partial \beta \partial {\beta }^T}=\sum _{i=1}^m{\hat{x}}_i{\hat{x}}_i^T{p}_1({\hat{x}}_i;\beta )(1-p_1({\hat{x}}_i;\beta ))$$

3.4 线性判别分析

线性判别分析（LDA）是一种经典的线性学习方法。

LDA的思想非常朴素:给定训练样例集,设法将样例投影到一条直线上使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离:在对新样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定新样本的类别.图 3.3 给出了一个二维示意图,

令${\chi }_i、{\mu }_i$和${\Sigma }_i$表示第$i$类示例的集合、均值向量、协方差矩阵。若将数据投影到直线$w$上

欲使同类样例的投影点尽可能接近,可以让同类样例投影点的协方差尽可能小；而欲使异类样例的投影点尽可能远离可以让类中心之间的距离尽可能大.同时考虑二者,则可得到欲最大化的目标

定义"类内散度矩阵"

以及"类间散度矩阵"

则可重写为：
$$J=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$
这就是LDA欲最大化的目标，即 $S_b$ 与 $S_w$的"广义瑞利商"

3.5 多分类学习

现实中常遇到多分类学习任务,有些二分类学习方法可直接推广到多分类但在更多情形下,我们是基于一些基本策略,利用二分类学习器来解决多分类问题.

多分类学习的基本思路为拆解法，即将多分类任务拆为多个二分类任务求解。其关键在于如何对多分类问题进行拆分，以及如何对多个分类器进行集成。

最经典的拆分策略有三种：“一对一”，“一对其余”，“多对多（MvM）”。

给定数据集$D=(x_1,y_1),(x_2,y_2),...,(x_m,y_m),y_i\in C_1,C_2,...,C_N$，OvO将这N个类别两两配对，产生N(N-1)/2个二分类问题。OvR是每次将一个类的样例作为正例，所有其他类的样例作为反例来训练N个分类器。两者的示意如图3.4下所示：

MvM 是每次将若干个类作为正类,若干个其他类作为反类.显然,OvO 和OvR是 MvM 的特例.MvM的正、反类构造必须有特殊的设计,不能随意选取.这里我们介绍一种最常用的 MvM 技术:“纠错输出码”(简称 ECOC).

ECOC工作过程主要分为两步:
编码：对N个类别做M次划分，每次划分将一部分类别划为正类，一部分划为反类，从而形成一个二分类训练集；这样一共产生M个训练集，可训练出M个分类器

解码：M个分类器分别对测试样本进行预测，这些预测标记组成一个编码。将这个预测编码与每个类别各自的编码进行比较,返回其中距离最小的类别作为最终预测结果。

类别划分通过编码矩阵指定。编码矩阵有多种形式，常见的有二元码和三元码，二元码指定正类和反类；三元码在此之外还可指定一个停用类。

为什么称为“纠错输出码”呢?这是因为在测试阶段,ECOC 编码对分类器的错误有一定的容忍和修正能力.

3.6 类别不平衡问题

类别不平衡(class-imbalance)就是指分类任务中不同类别的训练样例数目差别很大的情况.不失一般性,，本节假定正类样例较少，反类样例较多在现实的分类学习任务中，我们经常会遇到类别不平衡，例如在通过拆分法解决多分类问题时,即使原始问题中不同类别的训练样例数目相当,在使用OvR、MvM策略后产生的二分类任务仍可能出现类别不平衡现象,因此有必要了解类别不平衡性处理的基本方法。

类别不平衡学习的一个基本策略为"再缩放"

再缩放的思想虽简单,但实际操作却并不平凡,主要因为“训练集是真实样本总体的无偏采样”这个假设往往并不成立,也就是说,我们未必能有效地基于训练集观测几率来推断出真实几率.现有技术大体上有三类做法:
第一类是直接对训练集里的反类样例进行“欠采样”(undersampling),即去除些反例使得正、反例数目接近,然后再进行学习;
第二类是对训练集里的正类样例进行“过采样”(oversampling),即增加一些正例使得正、反例数目接近,然后再进行学习;
第三类则是直接基于原始训练集进行学习,但在用训练好的分类器进行预测时,将式(3.48)嵌入到其决策过程中,称为“阌值移动”(threshold-moving)

“再缩放”是代价敏感学习的基础