2.9 Logistic 回归的梯度下降法-深度学习-Stanford吴恩达教授

ygl_9913

于 2023-02-08 14:11:09 发布

阅读量214

点赞数

分类专栏： # 第一课《神经网络和深度学习》-吴恩达老师笔记文章标签：深度学习回归

本文链接：https://blog.csdn.net/ygl_9913/article/details/128926514

版权

第一课《神经网络和深度学习》-吴恩达老师笔记专栏收录该内容

24 篇文章 7 订阅

订阅专栏

Logistic 回归的梯度下降法 (Logistic Regression Gradient Descent)

本节我们讨论怎样通过计算偏导数来实现逻辑回归的梯度下降算法。关键点是几个重要公式，其作用是用来实现逻辑回归中梯度下降算法。在本节视频中，我将使用计算图对梯度下降算法进行计算。我必须要承认的是，使用计算图来计算逻辑回归的梯度下降算法有点大材小用了。但是，我认为以这个例子作为开始来讲解，可以使你更好的理解背后的思想。从而在讨论神经网络时，你可以更深刻而全面地理解神经网络。接下来让我们开始学习逻辑回归的梯度下降算法。

回顾之前我们建立了如下图的逻辑回归方程的公式定义：

假设样本有两个特征 $x_{1},x_{2}$ ，为了计算 $z$ ，还需要输入参数 $w_{1},w_{2},b$ ，因此 $z$ 的公式为 $z = w_{1}x_{1} + w_{2}x_{2} +b$ 。接着计算 $\hat{y}$ ， $\hat{y} = a =\sigma (z)$ 。最后计算 $L(a,y)$ 。在逻辑回归中我们要做的是修改参数 $w$ 和 $b$ ，来减少损失函数 $L$ 。

之前讲前向传播的步骤中已经说明了如何计算单个样本的损失函数 $L$ 。现在来讲如何反向计算导数？如下图：

要计算关于损失函数 $L$ 的导数，反向传播时，首先要做的是损失函数 $L(a,y)$ 关于 $a$ 的导数，在编写代码时，你只需要用 $da$ 来表示 $\frac{dL(a,y)}{da}$ 。（下面都是简写，如 $da$ ）然后根据求导法则，得到 $\frac{dL(a,y)}{da}$ 如下图（此处应该是以e为底）：

现在已经算出了 $da$ ，你可以继续往回算出 $dz$ （同样表示 $\frac{dL}{dz}$ ），求导公式算得： $dz = \frac{dL}{dz} = \frac{dL}{da} \cdot \frac{da}{dz} = a-y$

反向传播的最后一步也就是算出你需要改变 $w,b$ 多少？特别地，可以算出 $L$ 对 $w_{1},w_{2}$ 的导数，如下：

$\frac{\partial L }{\partial w_1} = dw_{1} = x_{1} \cdot dz$

$\frac{\partial L }{\partial w_2} = dw_{2} = x_{2} \cdot dz$

$db = dz$

所以如果你要对于一个例子进行梯度下降，你需要做：用公式算出 $dz$ ，然后算出 $dw_{1},dw_{2},db$ ，然后进行更新， $w_{1} := w_{1} - \alpha \cdot dw_{1}$ ； $w_{2} := w_{2} - \alpha \cdot dw_{2}$ ； $b := b - \alpha \cdot db$