【机器学习】推导逻辑回归反向传播

1.逻辑回归向前传播

        上图为简单神经网络的架构图，向网络中输入像素值，输出0或者 1。整个网络只有一层，也叫Logistic Regression。根据上图的正向传播流程，可以把前向传播的计算公式列出来，为了简便运算，公式中只涉及了w1、w2、b三个变量。

        1）定义计算公式

         2）经过sigmod

        3） 交叉熵损失

        其中y为已知的真实值，a为预测值，如果预测值越接近真实值，那么对应损失的函数将越接近0。 逻辑回归的过程就是不断学习、不断调整w1、w2、b三个变量，使得损失函数的值尽可能的接近0，使得预测值尽可能接近真实值。

 2.反向传播

        现在的计算目标已经变为：不断的调整w1、w2、b三个变量使得损失函数尽可能的小。以下是优化目标，目前常用的优化方法是梯度下降法。

         参数的更新公式如下所示：

        推导背后的原理就是对多元函数的链式求导数，以对w1更新的反向传播流程为例，过程如下所示：

        1）损失函数L(a,y)对w1求偏导公式

         2）损失函数L(a,y)对a求偏导

        3） a对z求偏导

         4）z对w1求偏导

        将2）、3）4）中的计算结果带入到 1）中可以得到损失函数L(a,y)对w1求偏导计算结果，计算结果如下所示。

         5）损失函数L(a,y)对w1求偏导计算结果

                

          L(a,y)对w2求偏导计算结果如下：

          L(a,y)对b求偏导计算结果如下：

3.手动推导过程 

        如下是手动推导过程