![35c91e171da11076828d9ce709c329e1.png](https://i-blog.csdnimg.cn/blog_migrate/f9149f1ca803b623b9793d743ea79268.jpeg)
前言概述
上一篇文章对逻辑回归的原理和基本思想做了一些简要介绍,并通过引入Sigmoid函数和梯度公式成功推导出了梯度上升和梯度下降公式,上文分类实例是依据全批量提升上升法,而本文会介绍全批量梯度上升的一种优化算法——随机梯度上升,如果还未懂得逻辑回归和推理公式原理,还请观看上一篇文章:机器学习笔记(七)——初识逻辑回归、两种方法推导梯度公式。
随机梯度上升
区别对比
在讲解全批量梯度上升和随机梯度上升的区别之前,先看一下二者的公式之间的对比,有助于之后的理解。
全批量梯度上升法:
![bad578faf1f68e2187f33777bd124f2c.png](https://i-blog.csdnimg.cn/blog_migrate/f3d5b21819dba2b4f1249d20cafc5330.png)
随机梯度上升法:
![76db98a1d99b97c8780d1672bd78d5c2.png](https://i-blog.csdnimg.cn/blog_migrate/913f8e93357da42c004c59494b5c5e93.png)
全批量梯度上升公式我们已经很熟悉了,上一篇文章有介绍;其实随机梯度上升与全批量的公式十分相似,原理也是大致相同的,不同点体现在何处呢?全批量在每次更新回归系数时都需要遍历整个数据集,这种方法在处理小数据集时尚可,但如果有数十亿样本和成千上万的特征,那么该方法的计算复杂度太高。而随机梯度上升是一次仅用一个样本点来更新回归系数,这样做大大减小了计算复杂度,并且提高了函数的收敛速度。
更改算法
随机梯度上升算法伪代码如下
所有回归系数