线性回归和logistic回归 (linear regression and logistic regression)

原文地址：http://blog.163.com/huai_jing@126/blog/static/1718619832011930826843/

1. 线性回归

1.1 定义

给定输入向量，希望预测输出Y。线性回归模型为：

其中是截距，是系数，而变量可能来自不同的源（定量输入或者定量输入的变换，多项式表示，变量之间的交互，例如等），但是模型在参数上都是线性的。

1.2 参数估计（最小二乘估计）

给定一组训练集，每个是第i个数据的特征向量。令，现在要估计参数。

用最小二乘估计，通过极小化残差平方和（或RSS）：

令X表示下面的的矩阵，每行代表一个输入向量：

y是训练集的输出向量，,则RSS可以写成：

对求导，得到：

如果X列满秩，则正定，令上式为0：，得到唯一解：

则预测值为：

其中矩阵，称为"帽"矩阵（也称投影矩阵）。

1.3 用于分类

下图是输入对和的训练数据散点图，输出类变量G用GREEN和RED表示。

用线性回归拟合这些数据，响应变量Y用0和1分别表示GREEN和RED，分类规则为：

两个预测类的判定界面（decision boundary）是：。

2. logistic回归

2.1 定义

logistic回归通过对x的线性函数对K个类的后验概率建模，同时确保它们的和为1，并都在[0,1]中。具体形式为：

并且： ，它们的和为1。

令参数集，则概率可以写为：

可见，logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射。

2.2 拟合logistic回归

常用极大似然拟合logistic回归，N个观测的对数似然是：

其中：。

我们讨论2类问题。用0/1响应来对编码。，同时令和，带入，通过化简，对数似然可以写为：

其中，并假设输入向量包含常数项1，方便包含截距计算。

2.3 参数求解（重加权最小二乘算法）

为极大化对数似然，求导有：

为求解上式，使用Newton-Raphson算法，需要借助二阶导数：

单个Newton-Raphson更新是：

（式中的导数在处计算）。

为方便计算，我们写成矩阵形式。设y表示值向量，X是值的矩阵，P是其第i个元素是的拟合概率向量，W是权为对角矩阵，第i个对角元素为。那么

Newton-Raphson步骤写成矩阵形式为：

其中：。这些方程重复求解，因为每次迭代P都变化，从而W和Z也变化，所以该算法叫做重加权最小二乘算法。（最小二乘中参数，比上面的式子少了权重W。）

3. 总结

线性回归求解参数过程常用最小二乘估计。

logistic回归本质上也是线性回归，只是在特征到结果的映射中加入了一层函数映射；常用极大似然拟合logistic模型，用重加权最小二乘算法来求解参数，极大化似然。