0 回归的含义
回归 英文:regress
用了倒推的含义,利用了数学的归纳思想,回归系数*数据求和得到估值(后话)
1 线性回归
- 线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。(源自百度)
1-1 数学公式
- 一次方程 y = ax + b
- 回归方程 $\hat{y} = ax+b $ 其中求回归系数的过程就是回归
1-2 误差以及公式(最小二乘法)
- 因为正负误差加和会引起抵消
- 所以误差分析应用了最小二乘法(就是平方误差)
- error = $ \sum_{i=0}^n (y^i - x^iW)$
- 矩阵转换 error = ( Y − X i W ) 2 = ( Y − X i W ) T ⋅ ( Y − X i W ) (Y-X^iW)^2 = (Y-X^iW)^T·(Y-X^iW) (Y−XiW)2=(Y−XiW)T⋅(Y−XiW)
- 上式对W导得到 2 X T ⋅ ( Y − X W ) 2X^T·(Y-XW) 2XT⋅(Y−XW) 原式求极值, 令导数等于零得到 w ^ = ( X T X ) − 1 ⋅ X T y \hat{w} = (X^TX)^{-1}·X^Ty w^=(XTX)