1.梯度下降算法
梯度下降算法的核心思路和公式推导,可以详见前面的文章:梯度下降算法的核心思路和公式推导
如果代价函数是凸函数,用梯度下降算法一定可以求得最优解。
2.梯度下降的三种方式
在ML中,梯度下降有三种方式:
1)批量梯度下降(Batch Gradient Descent,BGD)
2)随机梯度下降(Stochastic Gradient Descent,SGD)
3)小批量梯度下降(Mini-Batch Gradient Descent,MBGD)
每种方式都有优缺点~
梯度下降算法的核心是迭代更新计算θ,直到最新的θ不再变化,最新的θ就是最优θ,保证代价函数取得最小值,假设函数的拟合度最优~
迭代更新计算θ的公式:
假设我们一共有n个样本数据集,其中m<=n,其中m表示我们用m个样本进行训练计算θ。
1)当m=n时,每次更新