http://blog.163.com/huai_jing@126/blog/static/1718619832011930826843/
1. 线性回归
1.1 定义
给定输入向量,希望预测输出Y。线性回归模型为:
其中是截距,是系数,而变量可能来自不同的源(定量输入或者定量输入的变换,多项式表示,变量之间的交互,例如等),但是模型在参数上都是线性的。
1.2 参数估计(最小二乘估计)
给定一组训练集,每个是第i个数据的特征向量。令,现在要估计参数。
用最小二乘估计,通过极小化残差平方和(或RSS):
令X表示下面的的矩阵,每行代表一个输入向量:
y是训练集的输出向量,,则RSS可以写成:
对求导,得到:
如果X列满秩,则正定,令上式为0:,得到唯一解:
则预测值为:
其中矩阵,称为"帽"矩阵(也称投影矩阵)。
1.3 用于分类
下图是输入对和的训练数据散点图,输出类变量G用GREEN和RED表示。
用线性回归拟合这些数据,响应变量Y用0和1分别表示GREEN和RED,分类规则为:
两个预测类的判定界面(decision boundary)是:。
2. logistic回归
2.1 定义
logistic回归通过对x的线性函数对K个类的后验概率建模,同时确保它们的和为1,并都在[0,1]中。具体形式为:
并且: ,它们的和为1。
令参数集,则概率可以写为:
可见,logistic回归本质上是线性回归,只是在特征到结果的映射中加入了一层函数映射。
2.2 拟合logistic回归
常用极大似然拟合logistic回归,N个观测的对数似然是:
其中:。
我们讨论2类问题。用0/1响应来对编码。,同时令和,带入,通过化简,对数似然可以写为:
其中,并假设输入向量包含常数项1,方便包含截距计算。
2.3 参数求解(重加权最小二乘算法)
为极大化对数似然,求导有:
为求解上式,使用Newton-Raphson算法,需要借助二阶导数:
单个Newton-Raphson更新是:
(式中的导数在处计算)。
为方便计算,我们写成矩阵形式。设y表示值向量,X是值的矩阵,P是其第i个元素是的拟合概率向量,W是权为对角矩阵,第i个对角元素为。那么
Newton-Raphson步骤写成矩阵形式为:
其中:。这些方程重复求解,因为每次迭代P都变化,从而W和Z也变化,所以该算法叫做重加权最小二乘算法。(最小二乘中参数,比上面的式子少了权重W。)
3. 总结
线性回归求解参数过程常用最小二乘估计。
logistic回归本质上也是线性回归,只是在特征到结果的映射中加入了一层函数映射;常用极大似然拟合logistic模型,用重加权最小二乘算法来求解参数,极大化似然。
淮静推荐阅读:
http://blog.163.com/huai_jing@126/blog/static/1718619832011930826843/
1. 线性回归
1.1 定义
给定输入向量,希望预测输出Y。线性回归模型为:
其中是截距,是系数,而变量可能来自不同的源(定量输入或者定量输入的变换,多项式表示,变量之间的交互,例如等),但是模型在参数上都是线性的。
1.2 参数估计(最小二乘估计)
给定一组训练集,每个是第i个数据的特征向量。令,现在要估计参数。
用最小二乘估计,通过极小化残差平方和(或RSS):
令X表示下面的的矩阵,每行代表一个输入向量:
y是训练集的输出向量,,则RSS可以写成:
对求导,得到:
如果X列满秩,则正定,令上式为0:,得到唯一解:
则预测值为:
其中矩阵,称为"帽"矩阵(也称投影矩阵)。
1.3 用于分类
下图是输入对和的训练数据散点图,输出类变量G用GREEN和RED表示。
用线性回归拟合这些数据,响应变量Y用0和1分别表示GREEN和RED,分类规则为:
两个预测类的判定界面(decision boundary)是:。
2. logistic回归
2.1 定义
logistic回归通过对x的线性函数对K个类的后验概率建模,同时确保它们的和为1,并都在[0,1]中。具体形式为:
并且: ,它们的和为1。
令参数集,则概率可以写为:
可见,logistic回归本质上是线性回归,只是在特征到结果的映射中加入了一层函数映射。
2.2 拟合logistic回归
常用极大似然拟合logistic回归,N个观测的对数似然是:
其中:。
我们讨论2类问题。用0/1响应来对编码。,同时令和,带入,通过化简,对数似然可以写为:
其中,并假设输入向量包含常数项1,方便包含截距计算。
2.3 参数求解(重加权最小二乘算法)
为极大化对数似然,求导有:
为求解上式,使用Newton-Raphson算法,需要借助二阶导数:
单个Newton-Raphson更新是:
(式中的导数在处计算)。
为方便计算,我们写成矩阵形式。设y表示值向量,X是值的矩阵,P是其第i个元素是的拟合概率向量,W是权为对角矩阵,第i个对角元素为。那么
Newton-Raphson步骤写成矩阵形式为:
其中:。这些方程重复求解,因为每次迭代P都变化,从而W和Z也变化,所以该算法叫做重加权最小二乘算法。(最小二乘中参数,比上面的式子少了权重W。)
3. 总结
线性回归求解参数过程常用最小二乘估计。
logistic回归本质上也是线性回归,只是在特征到结果的映射中加入了一层函数映射;常用极大似然拟合logistic模型,用重加权最小二乘算法来求解参数,极大化似然。