梯度下降

最新推荐文章于 2024-02-15 22:54:47 发布

来一瓶82的农夫山泉

最新推荐文章于 2024-02-15 22:54:47 发布

阅读量105

点赞数

文章标签：梯度下降发 BGD SGD MGD

本文链接：https://blog.csdn.net/qq_32353187/article/details/102610216

版权

梯度下降一般分为三种：批量梯度下降法（Batch Gradient Descent），随机梯度下降法（Stochastic Gradient Descent），小批量梯度下降法（Mini-batch Gradient Descent）。

梯度下降基本流程：

样本为 $\left ( x_{0} \right,x_{1},y)$ 样本有两个特征值 $x_{0},x_{1}$ 和一个输出的目标值y，共有m个样本。函数变量x为特征所构成的向量。

设置步长，阈值，参数向量的初始值。
设置假设函数 $h_{\Theta }(x)=\Theta _{0}+\Theta _{1}\times x_{1}+\Theta _{2}\times x_{2}$
损失函数 $\bg_white \fn_cm \bg_white \fn_cm J(\Theta _{0},\Theta _{1},\Theta _{2})=\frac{1}{2m}\times \sum_{i=0}^{m}(y^{(i)}-h_{\Theta }((x^{(i)}))^{2}$
对损失函数分别对 $\Theta _{0},\Theta _{1},\Theta _{2}$ 求偏导构成梯度向量 $(\frac{\partial J(\Theta _{0},\Theta _{1},\Theta _{2})}{\partial \Theta _{0}},\frac{\partial J(\Theta _{0},\Theta _{1},\Theta _{2})}{\partial \Theta _{1}},\frac{\partial J(\Theta _{0},\Theta _{1},\Theta _{2})}{\partial \Theta _{2}})$
使用参数的初始值减去将样本值带入梯度向量后必将当所有的参数都小于阈值的时候结束，

$\left ( \Theta _{0},\Theta _{1},\Theta _{2} \right )-$ $(\frac{\partial J(\Theta _{0},\Theta _{1},\Theta _{2})}{\partial \Theta _{0}},\frac{\partial J(\Theta _{0},\Theta _{1},\Theta _{2})}{\partial \Theta _{1}},\frac{\partial J(\Theta _{0},\Theta _{1},\Theta _{2})}{\partial \Theta _{2}})$ 否则重复4-5

三种方法的不同之处在于损失函数（能量函数）

批量梯度下降：上述的损失函数就是在批量梯度下降时使用的，在此方法中将样本的所有值进行带入，可以找到全局的最优解，但是耗时间。

随机梯度下降：随机梯度下降的损失函数为 $\bg_white \fn_cm J(\Theta _{0},\Theta _{1},\Theta _{2})=\frac{1}{2}\times (y^{(i)}-h_{\Theta }((x^{(i)}))^{2}$ ，使用随机梯度下降时会随机的选择一个样本，速度快，准确率低。

小批量梯度下降：小批量梯度下降的损失函数为 $\bg_white \fn_cm J(\Theta _{0},\Theta _{1},\Theta _{2})=\frac{1}{2k}\times \sum_{i=t}^{i+k-1}(y^{(i)}-h_{\Theta }((x^{(i)}))^{2}$ ，小批量梯度下降时会设置一个样本的个数k，每次选取k个样本进行训练，速度较快，可以找到局部的最优解。

https://www.cnblogs.com/pinard/p/5970503.html

来一瓶82的农夫山泉

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
梯度下降

梯度下降一般分为三种：批量梯度下降法（Batch Gradient Descent），随机梯度下降法（Stochastic Gradient Descent），小批量梯度下降法（Mini-batch Gradient Descent）。梯度下降基本流程：样本为样本有两个特征值和一个输出的目标值y，共有m个样本。函数变量x为特征所构成的向量。...
复制链接

扫一扫