线性回归
1. 为什么使用
a. 模型简单,
b. 常常对输入如何影响输出有可结实的描述,
c. 在训练数据较少,信噪比较低或稀疏数据的情况下,预测远胜过非线性模型,
d. 通过基函数的方法,可以大大扩展其应用范围。
2. 使用前提
假定回归函数是线性的,或者假定线性模型是一个合理的近似。
3. 最小二乘法和最大似然
使用最小二乘法有一个假设:输出的误差项服从均值为零的高斯分布。
最小而成准则实际上是最大似然求解的结果。
假如这个假设不成立,那么效果就会欠佳。
4偏差与方差
从一个数据集中进行多次采样形成几个子集,方差就是对这几个子集产生的结果的差异;而偏差是得到的模型结果与训练数据集的差值。通常来说,模型越复杂,方差越大,偏差越小。我们要在偏差和方差之间取得均衡。
相关博客:
http://www.cnblogs.com/jerrylead/archive/2011/03/05/1971867.html
http://www.cnblogs.com/rcfeng/p/3965490.html