Datawhale 基础算法 Task1

【学习任务】

1. 线性回归损失函数的极大似然推导：西瓜书公式3.4除了用最小二乘法以外，怎么用极大似然推得？
2. 一元线性回归的参数求解公式推导：西瓜书公式3.7和3.8怎么推来的？
3. 多元线性回归的参数求解公式推导：西瓜书公式3.10和3.11怎么推来的？
4. 线性回归损失函数的最优化算法：什么是批量梯度下降、随机梯度下降、小批量梯度下降？

【推导】
1.线性回归损失函数的极大似然推导：西瓜书公式3.4除了用最小二乘法以外，怎么用极大似然推得？

2 一元线性回归的参数求解公式推导：西瓜书公式3.7和3.8怎么推来的？

3 多元线性回归的参数求解公式推导：西瓜书公式3.10和3.11怎么推来的？

4 线性回归损失函数的最优化算法：什么是批量梯度下降、随机梯度下降、小批量梯度下降？

1. 批量梯度下降：是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新
2. 随机梯度下降：在更新每一参数时都使用一个样本来进行更新，每一次跟新参数都用一个样本，更新很多次
3. 小批量梯度下降：对批量梯度下降以及随机梯度下降的一个折中办法。其思想是：每次迭代 使用 ** batch_size** 个样本来对参数进行更新。