笔记-logistic回归中的梯度下降法

最新推荐文章于 2022-11-17 10:30:44 发布

SoHardToNamed

最新推荐文章于 2022-11-17 10:30:44 发布

阅读量519

点赞数

分类专栏：深度学习吴恩达课程

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/SoHardToNamed/article/details/88724966

版权

深度学习同时被 2 个专栏收录

12 篇文章 0 订阅

订阅专栏

吴恩达课程

11 篇文章 1 订阅

订阅专栏

前面我们讲到，logistic回归函数为：

$z=\omega ^{T}x+b$

$\hat{y}=a=\sigma (z)$

使用的损失函数为： $\pounds (a,y)=-[y\log(a)+(1-y)\log(1-a)]$

假设输入的样本只有两个特征值 $x_{1},x_{2}$ 。则对于我们要求最小值的损失函数来说，输入的参数为： $x_{1},x_{2},\omega _{1},\omega _{2},b$ 。表示成计算图为：

如果数据沿着前向传播的路径，则可以得到损失函数对应于输入的值。如果要使用梯度下降法找到函数的最小值，则需要将数据反向传播。通过反向传播分别得到参数 $\omega _{1},\omega _{2},b$ 的导数 $\frac{\partial \pounds }{\partial \omega _{1}},\frac{\partial \pounds }{\partial \omega _{2}},\frac{\partial \pounds }{\partial b}$ 。就可以使用梯度下降法的迭代公式：

$\omega _{1}=\omega _{1}-\alpha \frac{\partial \pounds }{\partial \omega _{1}}$

$\omega _{2}=\omega _{2}-\alpha \frac{\partial \pounds }{\partial \omega _{2}}$

$b=b-\alpha \frac{\partial \pounds }{\partial b}$

来找到最值点啦！

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
笔记-logistic回归中的梯度下降法

前面我们讲到，logistic回归函数为：使用的损失函数为：假设输入的样本只有两个特征值。则对于我们要求最小值的损失函数来说，输入的参数为：。表示成计算图为：如果数据沿着前向传播的路径，则可以得到损失函数对应于输入的值。如果要使用梯度下降法找到函数的最小值，则需要将数据反向传播。通过反向传播分别得到参数的导数。就可以使用梯度下降法的迭代公式：来找到最值点啦！...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。