带动量的随机梯度下降法_机器学习笔记(八)——随机梯度上升(下降)算法调优...

前言概述

上一篇文章对逻辑回归的原理和基本思想做了一些简要介绍，并通过引入Sigmoid函数和梯度公式成功推导出了梯度上升和梯度下降公式，上文分类实例是依据全批量提升上升法，而本文会介绍全批量梯度上升的一种优化算法——随机梯度上升，如果还未懂得逻辑回归和推理公式原理，还请观看上一篇文章：机器学习笔记(七)——初识逻辑回归、不同方法推导梯度公式。

随机梯度上升

区别对比

在讲解全批量梯度上升和随机梯度上升的区别之前，先看一下二者的公式之间的对比，有助于之后的理解。

全批量梯度上升法：

随机梯度上升法：

全批量梯度上升公式我们已经很熟悉了，上一篇文章有介绍；其实随机梯度上升与全批量的公式十分相似，原理也是大致相同的，不同点体现在何处呢？全批量在每次更新回归系数时都需要遍历整个数据集，这种方法在处理小数据集时尚可，