线性回归

线性回归

1.  为什么使用

a.      模型简单，

b.      常常对输入如何影响输出有可结实的描述，

c.      在训练数据较少，信噪比较低或稀疏数据的情况下，预测远胜过非线性模型，

d.      通过基函数的方法，可以大大扩展其应用范围。

2.  使用前提

假定回归函数是线性的，或者假定线性模型是一个合理的近似。

3.  最小二乘法和最大似然

使用最小二乘法有一个假设：输出的误差项服从均值为零的高斯分布。

最小而成准则实际上是最大似然求解的结果。

假如这个假设不成立，那么效果就会欠佳。

4偏差与方差

从一个数据集中进行多次采样形成几个子集，方差就是对这几个子集产生的结果的差异；而偏差是得到的模型结果与训练数据集的差值。通常来说，模型越复杂，方差越大，偏差越小。我们要在偏差和方差之间取得均衡。

 

相关博客：

http://www.cnblogs.com/LeftNotEasy/archive/2010/12/19/mathmatic_in_machine_learning_2_regression_and_bias_variance_trade_off.html

 

http://www.cnblogs.com/jerrylead/archive/2011/03/05/1971867.html

 

http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_learning_1_regression_and_gradient_descent.html

 

http://www.cnblogs.com/rcfeng/p/3965490.html