最小二乘法:使离差平方和 (i=1~n) ∑(yi-yi') 最小的方法
结论:设回归方程为y'=bx+a;解得
回归直线方程:在一组具有相关关系的变量与数据的(x,y)间,最能体现x,y关系的直线(一条尽可能接近所有数据点的直线)
设回归方程为y'=bx+a;
要使直线最拟合,则使(i=1~n) ∑(yi-yi') 最小,但yi-yi'可能为负,无法正确反映整体数据的切合程度,所以用平方,使得∑(yi-yi')^2最小,由n组xi,yi,最终解得
线性回归中的最小二乘法
线性回归模型
用最小二乘法最小化残差得损失函数为
最小化误差:
分别对W,b求偏导得:
对于比较简单的函数,我们令偏导=0就可求出最优值W与b:
其中
但对于像下图这样有多个最优解的情况,我们用梯度下降法一步步找最优值,避免陷入局部最优解的情况,且计算量小很多。
多元线性回归
最终求得:
推导过程
推导过程可见:https://blog.csdn.net/marsjohn/article/details/54911788