逻辑回归及反向传播求梯度详细推导过程

最新推荐文章于 2021-07-31 13:44:15 发布

举个例子OK？

最新推荐文章于 2021-07-31 13:44:15 发布

阅读量692

点赞数 3

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/qq_33391629/article/details/108711228

版权

机器学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

网上的逻辑回归讲的真复杂，各种数学公式推导，还很抽象，就不能言简意赅一点吗。下面简要的讲下用梯度下降法求解逻辑回归。对梯度下降不了解的可见我另一篇博客

逻辑回归不是回归，而是分类，一般用于二分类。它就是在线性回归的输出加了一个sigmoid激活函数，使输出变成了0到1之间的概率，从而来表示二分类中“是”或“不是”的概率。

线性方程： $y=wx+b$

sigmoid激活函数： $z=\frac{1}{1+e^{-y}}$

损失函数： $L=-\frac{1}{n}\sum_x [y_{true}lnz+(1-y_{true})ln(1-z)]$

w和b就是要求的参数，z就是预测结果“是”或“不是”的概率。 $y_{true}$ 就是真实值1或0

梯度： $d_w=\frac{\partial L}{\partial z}\frac{\partial z}{\partial y}\frac{\partial y}{\partial w}$

参数更新: $w=w-\eta d_w$

参数b的更新也是和w一样的，这样更新迭代一定次数后模型就训练好了。到此处逻辑回归就介绍完了，但可能有很多人对梯度求解不理解，下面就来详细推导一下。

首先，复习一下后面要用到的求导公式及链式求导法则。

$f(x)=log_ax$ $f^{'}(x)=\frac{1}{xlna}$

$f(x)=e^x$ $f^{'}(x)=e^x$

$f(x)=\frac{1}{x}$ $f^{'}(x)=-\frac{1}{x^2}$

$y=f(x)$ $z=g(y)$ $\frac{\partial z}{\partial x}=\frac{\partial z}{\partial y}\frac{\partial y}{\partial x}$

下面来推导线性方程和sigmoid函数的求导

$\frac{\partial y}{\partial w}=x$

$\frac{\partial z}{\partial y}=-\frac{1}{(1+e^{-y})^2}*e^{-y}*(-1)=\frac{e^{-y}}{(1+e^{-y})^2}=\frac{e^{-y}+1-1}{(1+e^{-y})^2}=\frac{1}{1+e^{-y}}-\frac{1}{(1+e^{-y})^2}=\frac{1}{1+e^{-y}}*(1-\frac{1}{1+e^{-y}})=z(1-z)$

然后为了便于理解，我们将损失函数先拆开求导，先对 $-y_{true}lnz$ 求导

$\frac{\partial}{ \partial w}-y_{true}lnz=-y_{true}*\frac{1}{z}*\frac{\partial z}{\partial y}*\frac{\partial y}{\partial x}=-y_{true}*\frac{1}{z}*z(1-z)*x=y_{true}*(z-1)*x$

再对 $-(1-y_{true})ln(1-z)$ 求导

$\frac{\partial }{\partial w}-(1-y_{true})ln(1-z)=(-1)*(1-y_{true})*\frac{1}{1-z}*(-1)*\frac{\partial z}{\partial y}*\frac{\partial y}{\partial x}=(1-y_{true})*\frac{1}{1-z}*z*(1-z)*x=(1-y_{true})*z*x$

最后对损失函数L求导

$\frac{\partial L}{\partial w}=\frac{\partial}{\partial w} \frac{1}{n}\sum _x[-y_{true}lnz-(1-y_{true})ln(1-z)]=\frac{1}{n}\sum_x[y_{true}*(z-1)*x+(1-y_{true})*z*x]=\frac{1}{n}\sum_x[z*x-y_{true}*x]=\frac{1}{n}\sum_x(z-y_{true})*x$

至此反向传播求梯度详细推导就完成了，有没有很神奇，在经过一系列推导后，梯度 $d_w$ 的计算就是用正向传播得到的z和真实的y以及对应的x计算得到的。

觉得有帮助的请点赞-关注-收藏3连

举个例子OK？

关注

3
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
逻辑回归及反向传播求梯度详细推导过程

网上的逻辑回归讲的真复杂，各种数学公式推导，还很抽象，就不能言简意赅一点吗。下面简要的讲下用梯度下降法求解逻辑回归。对梯度下降不了解的可见我另一篇博客逻辑回归不是回归，而是分类，一般用于二分类。它就是在线性回归的输出加了一个sigmoid激活函数，使输出变成了0到1之间的概率，从而来表示二分类中“是”或“不是”的概率。线性方程：激活函数：损失函数：w和b就是要求的参数，z就是预测结果“是”或“不是”的概率。就是真实值1或0梯度：参数更新:参数b的更新也是和w一样的，这样更新迭
复制链接

扫一扫