一、线性回归
线性回归是指为数据集建立最符合其规律的一元或多元线性方程,是一元还是多元取决于数据集中影响结果的因素的种类,有多少种类就是几元。下面会分别介绍。
二、一元线性回归
如它的名字,影响数据结果的因素种类只有一种时可运用它进行拟合。
它的形式通常如下:
三、多元线性回归
多元线性回归与一元线性回归区别不大,唯一区别就是影响因素的种类变多了,这里不多赘述,直接给出它的形式:
其中为影响因素种类的个数,为线性方程的常数项
四、 线性回归方程的求解
线性回归方程求解方式主要有两种,分别是最小二乘法和梯度下降法。下面将讲解梯度下降法。
(1)建立损失函数
其中表示数据集中第i组数据的实际结果,表示对数据集中第i组数据的预测结果,m为数据组数。
可以表示为俩个矩阵的乘积即
第一个元素为1是因为线性方程里还有一个常数项
则
这里叉乘代表矩阵乘法,点乘代表矩阵相应位置相乘
所以
(2)求偏导
(3)更新W
(4)判断是否在误差范围
若符合
则停止迭代,反正继续迭代。