《机器学习》之 详解线性模型

线性模型

1.基本形式

例如用d个属性描述示例x=(x1,x2,…,xd)x=(x1,x2,…,xd),其中，xixi是x在第i个属性上的取值。
线性模型（linear model)就是试图用一个线性组合来描述：
f(x)=w1x1+w2x2+…+wdxd+b
f(x)=w1x1+w2x2+…+wdxd+b
我们在其他很多的课程中肯定也接触到用层级结构或者高纬映射的线性模型去近似非线性模型（nonlinear model）。 由于线性模型的较好的可解释性（comprehensibility），例如

f好瓜(x)=0.5x色泽+0.25x根蒂+0.15x敲生+0.1x形状

就可以很直观地看出选好的瓜考虑了几个方面以及每个方面的权重

我们会从回归任务开始，逐步讨论二分类和多分类

2.线性回归

“线性回归”（linear regression）试图学得一个线性模型以尽可能准确地预测实值输出标记

线性回归试图学习得到
f(xi)=wxi+b，使得f(xi)≈yi
f(xi)=wxi+b，使得f(xi)≈yi

现在关键问题是——如何衡量f(x)和yf(x)和y之间的差别。
之前提到过的均方误差是回归任务中最常用的性能指标，我们可以试图让均方误差最小。

2.1何为均方误差？

均方误差亦称平方损失（square loss），均方误差有着很好的几何意义，它对应了欧几里得距离，简称“欧式距离”，基于均方误差最小化来进行模型求解的方法称“最小二乘法”

2.2 最小二乘法

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

其中，令两式为零，求得w，b的闭式解为：


闭式解即为用参数表示的解

如果给定数据集D = {（x1, y1）,（x2, y2）,…,（xm, ym）}，其中xi = （xi1; xi2;…;xid），xij代表第i个样本的第j个特征，yi是真实情况，y = （y1;y2;…;ym）T注意并不是我们划分的类型，（xm, ym）会是出现在样本空间中的某个点，我们要找到某个线将不同类的点区分开。样本个数是m个，由d个属性描述，类似于我之前写的西瓜的例子。我们试图学得

这称为“多元线性回归”。

2.3 何为多元线性回归？

**在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。**事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。

多元线性回归估计方法

• 普通最小二乘法
  普通最小二乘法(Ordinary Least Square, OLS)通过最小化误差的平方和寻找最佳函数。通过矩阵运算求解系数矩阵：
  当XTX为满秩矩阵或正定矩阵时，成立
  
• 广义最小二乘法
  广义最小二乘法(Generalized Least Square)是普通最小二乘法的拓展，它允许在误差项存在异方差或自相关，或二者皆有时获得有效的系数估计值。公式如右，
  
  其中，Ω是残差项的协方差矩阵。

然而，现实生活中，XTX 往往不是满秩矩阵，即X的列数多于行数，此时可以解出多个w，它们都能使均方误差最小化，选择哪一个解作为输出，将由学习算法的归纳偏好（即模型在学习过程中对某种假设的偏好，称为归纳派偏好）决定，常见的做法是引入正则化。

如果让模型预测逼近y的衍生物呢？假设示例所对应的输出标记是在指数尺度上变化，那么即可将输出标记的对数作为线性模型逼近的目标，即：

如下图所示
这种模型被称为“广义线性模型”，其中g( . )称为联系函数。
联系函数是指 ：将联合分布函数与边缘分布函数联系起来的一个函数

3.对数几率回归

如果做的是分类任务怎么办呢？ 我们可以用广义线性模型：即找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来
对于而分类任务：
我们要用到一个函数，单位阶跃函数
何为单位阶跃函数？
单位阶跃函数又称单位布阶函数目前有三种定义，共同之处是自变量取值大于0时，函数值为1；自变量取值小于0时，函数值为0，不同之处是，自变量为0时函数值各不相同。

（图片来自网络）
我们用的是中间那种
但是单位阶跃函数不连续，所以我们要找一个连续并且单调可微的函数，即 对数几率函数
对数几率回归的优点：

1. 无需事先假设数据分布，避免了假设分布不准确所带来的问题
2. 不仅预测出类别，还可以得到近似概率预测
3. 对数几率回归函数求解的目标函数是任意阶可导的凸函数，有很好的数学性质，许多数值优化算法可以直接用于求取最优解

4.线性判别分析

线性判别分析（Linear Discriminant Analysis，简称LDA）
LDA原理：给定训练集样例，设法将样例投影到一条直线上，使得使得同类样列尽可能进，异样样例尽可能远：在对新样本进行分类时，将其投影到同样的这条线上，再根据投影点的位置来确定新样本的类别

（图片来自网络）
LDA分类的一个目标是使得不同类别之间的距离越远越好，同一类别之中的距离越近越好，所以我们需要定义几个关键的值。


（图片来自网络）

参考：周志华《机器学习》