DataWhale基础算法作业一（线性回归相关）

DataWhale基础算法作业一：线性回归

学习任务

1.线性回归损失函数的极大似然推导：西瓜书公式3.4除了用最小二乘法以外，怎么用极大似然推得？
2.一元线性回归的参数求解公式推导：西瓜书公式3.7和3.8怎么推来的？
3.多元线性回归的参数求解公式推导：西瓜书公式3.10和3.11怎么推来的？
4.线性回归损失函数的最优化算法：什么是批量梯度下降、随机梯度下降、小批量梯度下降？

线性回归损失函数的推导（MLE）及参数求解

线性回归损失函数的最优化算法——梯度下降法

梯度下降的方式有三种，分别是：批量梯度下降法BGD、随机梯度下降发SGD、小批量梯度下降发MBGD。
什么是梯度下降法？
https://blog.csdn.net/walilk/article/details/50978864
https://www.cnblogs.com/lliuye/p/9451903.html
简述：
1.批量梯度下降法：在更新每一参数时都使用所有的样本来进行更新。
优点：全局最优解；易于并行运算。
缺点：耗时
2.小批量梯度下降法：在更新每一参数时都使用一部分样本来进行更新。
优点：易于并行运算；不会慢太多。
3.随机梯度下降法：更新每一参数时仅使用一个样本来进行更新。
优点：练速度快
缺点：准确度下降，不是全局最优；不易于并行实现。