一。问题:
1.线性回归损失函数的极大似然推导:西瓜书公式3.4除了用最小二乘法以外,怎么用极大似然推得?
2.一元线性回归的参数求解公式推导:西瓜书公式3.7和3.8怎么推来的?
3.多元线性回归的参数求解公式推导:西瓜书公式3.10和3.11怎么推来的?
4.线性回归损失函数的最优化算法:什么是批量梯度下降、随机梯度下降、小批量梯度下降?
二。笔记
4.
批量梯度下降(Batch Gradient Descent)
在每一轮的训练过程中,Batch Gradient Descent算法用整个训练集的数据计算cost fuction的梯度,并用该梯度对模型参数进行更新。
随机梯度下降(Stochastic Gradient Descent)
和批梯度下降算法相反,Stochastic gradient descent 算法每读入一个数据,便立刻计算cost fuction的梯度来更新参数。
小批量梯度下降(Mini-batch Gradient Descent)
mini-batch Gradient Descent的方法是在上述两个方法中取折衷, 每次从所有训练数据中取一个子集(mini-batch) 用于计算梯度。
三。参考资料