梯度下降法里的error_机器学习笔记(八)——随机梯度上升(下降)算法调优

前言概述

上一篇文章对逻辑回归的原理和基本思想做了一些简要介绍，并通过引入Sigmoid函数和梯度公式成功推导出了梯度上升和梯度下降公式，上文分类实例是依据全批量提升上升法，而本文会介绍全批量梯度上升的一种优化算法——随机梯度上升，如果还未懂得逻辑回归和推理公式原理，还请观看上一篇文章：机器学习笔记(七)——初识逻辑回归、两种方法推导梯度公式。

随机梯度上升

区别对比

在讲解全批量梯度上升和随机梯度上升的区别之前，先看一下二者的公式之间的对比，有助于之后的理解。

全批量梯度上升法：

随机梯度上升法：

全批量梯度上升公式我们已经很熟悉了，上一篇文章有介绍；其实随机梯度上升与全批量的公式十分相似，原理也是大致相同的，不同点体现在何处呢？全批量在每次更新回归系数时都需要遍历整个数据集，这种方法在处理小数据集时尚可，但如果有数十亿样本和成千上万的特征，那么该方法的计算复杂度太高。而随机梯度上升是一次仅用一个样本点来更新回归系数，这样做大大减小了计算复杂度，并且提高了函数的收敛速度。

更改算法

随机梯度上升算法伪代码如下

所有回归系数