基础算法梳理任务1

 

1.线性回归损失函数的极大似然推导

2.一元线性回归的参数求解公式推导

公式3.7和3.8

3.多元线性回归的参数求解公式推导

公式3.10

 

公式3.11

4.线性回归损失函数的最优化算法：什么是批量梯度下降、随机梯度下降、小批量梯度下降？

在最小化损失函数的过程中，可以用梯度下降法。

损失函数为：

对目标函数进行求导，导数如下：

 

利用梯度下降更新参数，参数更新方式如下：

批量梯度下降法:  在利用上述公式更新参数时使用所有的样本，即m为所有样本个数。

随机梯度下降法：更新每一参数时都使用一个样本来进行更新，即随机选取一个样本，上述公式中m=1

小批量梯度下降法:   它的具体思路是在更新每一参数时都使用一部分样本来进行更新，也就是上述更新参数公式中的m的值大于1但小于所有样本的数量。