线性回归阶段学习总结

一、如何理解线性回归模型

简单举个例子：期末总成绩=0.6 x 平时成绩 + 0.3 x 期末考试成绩 + 0.1 x 考勤

期末总成绩为目标值，平时成绩、期末考试成绩、考勤是特征值，在目标值和特征值之间建立一个关系，这个关系就可以理解为线性模型。

1、线性关系：单变量线性关系，在二维平面坐标轴上成直线表示。多变量线性关系：2个特征值则在三位平面上成平面的表示。

2、非线性关系

---

二、线性回归的损失和优化

1、损失

       因为我们的预测结果和真实的结果一般都是存在误差的，很难完美的预测出真实的结果，只能尽可能的缩小误差。可以通过损失函数将误差给衡量出来。

损失函数：

• yi为第i个训练样本的真实值
• h(xi)为第i个训练样本特征值组合预测函数
• 又称最小二乘法

2、优化

线性回归中最长用的两种方式：正规方程和梯度下降

（1）正规方程：

 X为特征值矩阵，y为目标值矩阵。直接求到最好的结果w（w是矩阵也就是权重系数）

（2）梯度下降 

a.单变量函数的梯度下降

我们假设有一个单变量的函数 :J(θ) = θ**2

函数的微分(求导):J、(θ) = 2θ

初始化，起点为： θ0 = 1

学习率：α = 0.4

我们开始进行梯度下降的迭代计算过程:

b.多变量函数的梯度下降

我们假设有一个目标函数 ：:J(θ) = θ1**2 + θ2**2   （**2表示平方）

现在要通过梯度下降法计算这个函数的最小值。我们通过观察就能发现最小值其实就是 (0，0)点。但是接下 来，我们会从梯度下降算法开始一步步计算到这个最小值! 我们假设初始的起点为: θ0 = (1, 3)

初始的学习率为:α = 0.1

函数的梯度为:▽:J(θ) =< 2θ1 ,2θ2>

进行多次