文章目录
线性回归工作原理
简而言之,就是通过已知数据的拟合出一条线性线,来预测
希望 y y y 与 y ^ ( i ) \hat{y}^{(i)} y^(i) 的距离差距尽量小:
选用公式 ( y ( i ) − y ^ ( i ) ) 2 \left(y^{(i)}-\hat{y}^{(i)}\right)^{2} (y(i)−y^(i))2,所以考虑所有样本 ∑ i = 1 m ( y ( i ) − y ^ ( i ) ) 2 \sum_{i=1}^{m}\left(y^{(i)}-\hat{y}^{(i)}\right)^{2} ∑i=1m(y(i)−y^(i))2 最终 ∑ i = 1 m ( y ( i ) − a x ( i ) − b ) 2 \sum_{i=1}^{m}\left(y^{(i)}-a x^{(i)}-b\right)^{2} ∑i=1m(y(i)−ax(i)−b)2
最终目标:找到a , b
简单线性回归
最小二乘法:
公式
a = ∑ i = 1 m ( x ( i ) − x ˉ ) ( y ( i ) − y ˉ ) ∑ i = 1 m ( x ( i ) − x ˉ ) 2 a=\frac{\sum_{i=1}^{m}\left(x^{(i)}-\bar{x}\right)\left(y^{(i)}-\bar{y}\right)}{\sum_{i=1}^{m}\left(x^{(i)}-\bar{x}\right)^{2}} a=∑i=1m(x(i)−xˉ)2∑i=1m(x(i)−xˉ)(y(i)−yˉ)
b = y ˉ − a x ˉ b=\bar{y}-a \bar{x} b=yˉ−axˉ<