本文为学习记录,写的不好请大家指正见谅,互相学习,也为自己巩固学习成果包括后续复习所用!
1.简单的线性回归
我们先来看图
线性回归就是找到一条直线,y=ax+b
加入特征值为x,即预测值为y’,实际值为y,线性回归就是找到|y-y'|的最小值,即(y-y')^2的最小值,扩展到所有样本就是找到
∑(y-y')^2的最小值
也就是找到a和b的值,使得上述算式最小,即对a,b求导
所以得到的b=y(mean)-a*x(mean)
a=∑ (x(i)-x(mean)) * (y(i)-y(mean)) / ∑((x(i) - x(mean)) ^2
使用代码实现fit过程 即
MSE,RMSE,MAE,R^2
回到上面的线性回归,线性回归主要是找到∑(y(train)-y(train)')^2的最小值 ,这里的y指的是训练集,所以在做衡量线性回归指标的时候,
我们只要找到y测试集的∑(y(test)-y(test)')^2即可,
在这里,我们只要消除数据量m的影响即可,所以形成了
MSE(均方误差):
再根据均方误差,我们消除平方带来的特征值放大的影响,
所以有RMSE(均方根误差):
还有我们干脆直接取距离的绝对值,即:
MAE(平均绝对误差):
封装代码:
最好的方法为R^2:
分子部分指的是我们自己的模型产生的错误,分母表示使用baseline model(基础模型)y=y(mean) 产生的错误,
两个相除再用1减去之后相当于就是我们拟合住的部分,所以对于R^2来说,越大越好
1.R^2<=1,如果等于1,表示模型完全拟合,没有任何错误。
2.当R^2=0时,表示模型和基础模型一样
3.小于0时,可能我们的模型没有线性关系了已经,可能需要更换算法了
R^2也可以写成
1- MSE(y',y) / Var(y) 相当于分子分母同时除以一个m,这样我们在实现的时候就很简单了
现在我们扩展到多元的线性回归
即
也就是我们每一个特征X之前,都有一个theta值,相当于简单线性回归的扩展
具体的写在纸上
使用程序实现linearRegression