简单线性回归:
目标:通过模型来描述某一特征(解释变量x)与连续输出(目标变量y)之间的关系。
当只有一个解释变量时,线性模型的函数定义为:y=w0+w1*x (w0是y轴上的截距,w1是解释变量的系数),我们的目标是通过学习得到线性方程的两个权值,并用他们描述解释变量与目标变量的关系,当解释变量是非训练集中的数据时,可用其预测对应的输出
这条最佳拟合线被称为:回归线;回归线与样本点之间的垂直连线即所谓的偏差;
多元线性回归:
可以将解释变量扩展为多个,称为多元线性回归:y=w0x0+w1x1+w3x3+...+wmxm=wTx
为了确定哪些特征与目标函数高度相关,我们可以创建一个相关系数矩阵(一个包含皮尔逊积矩相关系数的方阵);皮尔逊相关系数可用两个特征x,y之间的协方差除以他们标准差的乘积来计算。【-1,1】,1是完全正相关,-1是完全负相关,由此我们可以挑选相关度高的特征,来预测建模。
线性回归模型评估:
通过最小二乘法估计回归曲线的参数,使得估计回归的残差平方和最小:
1.对于简单线性模型:权重w0,w1(图中β0、β1)应该使计算出来的函数曲线与观察值的差的平方和最小。用数学公式描述就是:
即
现在需要确定β0、β1,使cost function最小。对于这种形式的函数求导,根据数学知识我们知道,函数的极值点为偏导为0的点
用克莱默法则,变换一下:求出权重: