这篇博客深入探讨了线性回归和局部加权回归。线性回归通过最小二乘法找到最佳拟合直线，但对非线性关系处理不佳。局部加权回归通过加权方式改善了这一问题，权重分配类似knn，使用高斯核函数调整影响程度，以适应不同数据分布。
0 回归的含义
回归 英文:regress
用了倒推的含义，利用了数学的归纳思想，回归系数*数据求和得到估值(后话)
1 线性回归
- 线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。(源自百度)
1-1 数学公式
- 一次方程 y = ax + b
- 回归方程 $\hat{y} = ax+b $ 其中求回归系数的过程就是回归
1-2 误差以及公式(最小二乘法)
- 因为正负误差加和会引起抵消
- 所以误差分析应用了最小二乘法(就是平方误差)
- error = $ \sum_{i=0}^n (y^i - x^iW)$
- 矩阵转换 error = ( Y − X i W ) 2 = ( Y − X i W ) T ⋅ ( Y − X i W ) (Y-X^iW)^2 = (Y-X^iW)^T·(Y-X^iW) (Y−XiW)2=(Y−XiW)T⋅(Y−XiW)
- 上式对W导得到 2 X T ⋅ ( Y − X W ) 2X^T·(Y-XW) 2XT⋅(Y−XW) 原式求极值, 令导数等于零得到 w ^ = ( X T X ) − 1 ⋅ X T y \hat{w} = (X^TX)^{-1}·X^Ty w^=(XTX)
最低0.47元/天 解锁文章
扫一扫
879
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
