回归模型，梯度下降心得体会

简单线性回归：

       目标：通过模型来描述某一特征（解释变量x）与连续输出（目标变量y）之间的关系。

        当只有一个解释变量时，线性模型的函数定义为：y=w0+w1*x      (w0是y轴上的截距，w1是解释变量的系数)，我们的目标是通过学习得到线性方程的两个权值，并用他们描述解释变量与目标变量的关系，当解释变量是非训练集中的数据时，可用其预测对应的输出

         这条最佳拟合线被称为：回归线；回归线与样本点之间的垂直连线即所谓的偏差；  

多元线性回归:

        可以将解释变量扩展为多个，称为多元线性回归：y=w0x0+w1x1+w3x3+...+wmxm=wTx

        为了确定哪些特征与目标函数高度相关，我们可以创建一个相关系数矩阵（一个包含皮尔逊积矩相关系数的方阵）；皮尔逊相关系数可用两个特征x,y之间的协方差除以他们标准差的乘积来计算。【-1，1】，1是完全正相关，-1是完全负相关，由此我们可以挑选相关度高的特征，来预测建模。

线性回归模型评估：

        通过最小二乘法估计回归曲线的参数，使得估计回归的残差平方和最小：

               1.对于简单线性模型：权重w0,w1（图中β0、β1）应该使计算出来的函数曲线与观察值的差的平方和最小。用数学公式描述就是:

                                                                              

                                                                          即            

                     现在需要确定β0、β1，使cost function最小。对于这种形式的函数求导，根据数学知识我们知道，函数的极值点为偏导为0的点                                                            

            用克莱默法则，变换一下：求出权重：