线性回归

5.31 线性回归

最小二乘法

找到合适的参数，使残差平方和最小

（残差：拟合结果和实际值的差）平方和

二元函数最小化：

必要条件：偏导数=0（不能保证处于最小值，且只有一个极值点）

解线性方程组，求得待定系数

用线性代数实现最小二乘法

解线性方程组

m = y -Xa

<=>求mmT最小值

->求自变量为向量的函数的最小值

如何使回归方程更准确

1. 回归方程的形式应准确：线性回归必须要求是线性关系
2. 全部影响因素都应考虑到
3. 不相干的因素不应被纳入模型
4. 采集的样本数据应当准确

一致性：样本越大，越精准

无偏性：期望

有效性：在满足无偏性的条件下，标准差越小越有效（离散程度越小越有效）

不满足线性性的处理方法：对数变换，倒数变换，平方根变换

SPSS实现线性回归