线性回归与分类

基本形式
线性模型是通过属性的线性组合来进行预测的函数:

一般用向量形式写成：

由于w直观的表达了各属性在预测中的重要性，因此线性模型具有很好的解释性。

线性回归
线性回归则试图学得一个线性模型尽可能准确地将预测f(xi)去 逼近yi，即：

一个良好的线性回归模型的关键就是如何将f(xi)与yi之间的误差最小化！而该模型是由w以及b确定的，那么问题回到w，b的确定：
即满足下式：

基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。
求解w和b使上式最小化的过程，称为线性回归模型的最小二乘“参数估计”。

分别对w,b求偏导并为零得到唯一最优解。这里w,b均为一个值。

当输入的x为多个特征的向量时，我们学得的线性函数称为“多元线性回归”。如下式，w，b均为向量。

令X的增广矩阵和w^增广矩阵分别为：

W’=(w;b)
则有：

W’为最小二乘所求参数估计为：

对w’求导为：


当X转置乘以X满秩时则可逆有唯一解，不满秩时有多个解，学习算法的归纳偏好决定选择哪个解，常见的做法是引入正则化项。

L2正则化能有效防止参数θ过大而导致的模型过拟合，同时也可以使矩阵（X^TX+λI）^-1可逆，保证了参数矩阵θ的唯一解，损失函数带L2正则化的线性回归称为Ridge回归。L1正则化可以使部分参数θ为零，从而具有特征选择的作用，可用于降维处理，损失函数带L1正则