Sigmoid函数推导

最新推荐文章于 2024-08-21 21:03:27 发布
最新推荐文章于 2024-08-21 21:03:27 发布
阅读量1.4k 收藏 1
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习
原文链接：https://www.zhihu.com/question/38777817/answer/78140608
版权

通过logistic曲线就可以知道

sigmoid函数的导数是以它本身为因变量的函数，即f(x)' = F(f(x))

sigmoid函数是一个阀值函数，不管x取什么值，对应的sigmoid函数值总是∈(0,1)


1、证明f(x)' = F(f(x)) [公式]

所以 [公式]

sigmoid函数的值域∈(0,1)，这与概率值的范围[0,1]很是巧合，我们可以把sigmoid函数与一个概率分布联系起来，那就是伯努利分布。

伯努利分布的概率质量函数为： [公式]


2、证明伯努利分布也属于指数分布族

指数分布族的一般表达式 [公式]

伯努利分布的概率质量函数为：

[公式]

由此可知，伯努利分析也是属于指数分布族


3、sigmoid函数的数学公式推导

由伯努利分布 [公式] 属于指数分布族

[公式] ，[公式] ， [公式] ， [公式]

可知p的值域恒 [公式] （0，1）

东大梅西
关注
专栏目录
人工智能基础_机器学习041_Sigmoid函数详解_Sigmoid损失函数推导_最大似然函数推导---人工智能工作笔记0081
添柴程序猿的专栏
11-17 431
可以看到,把两个公式河道一起就得到了下面的概率公式. 这里是有关概率论中的一些东西,如果想很清楚需要学习一下,但是不影响我们使用.我们可以在前面加个负号,来把,求最大总似然,改成求损失函数的最小值,其实就是把似然函数,转换成了损失函数.连加,也就是通过对数,把连乘转换城连加,可以看到,求对数就是求ln,把指数拿下来,然后上面的似然函数是连乘的方式,那么,连乘的计算非常困难,所以我们可以转换为。可以看到这个就是我们通过,对逻辑回归表达式的似然函数,加负号,变成求。因为似然函数的值最大,那么概率就越大。
sigmoid函数简单推导
weixin_43301900的博客
09-22 122
由于是比较常用的函数，所以记录一下。
机器学习 (六): Sigmoid 公式推导和理解
王成昊的博客
05-14 4497
Sigmoid推导和理解前言Sigmoid 和损失函数无关Sigmoid 是什么?Sigmoid 的假设Sigmoid 的推导我的理解 前言 说道逻辑回归就会想到 Sigmoid 函数, 它是一个实数域到 (0,1)(0, 1)(0,1) 的映射, 可以被解释为概率, 但为什么是这个公式? Sigmoid 和损失函数无关 首先, 逻辑回归的损失函数为 L(X,Y,θ)=−∑i=1ny(i)log(...
深度学习笔记9-Sigmoid函数求导
最新发布
08-21 1077
这个结果不仅提供了计算梯度的简洁公式，还具有直观的意义：Sigmoid 函数的导数在输出值接近 0 或 1 时会变得非常小，从而可能导致梯度消失问题，这也是在训练深层网络时需要考虑的一个问题。要计算 Sigmoid 函数的导数，首先需要对其进行微分。Sigmoid 函数的导数可以用来计算反向传播中的梯度。是一种常用的激活函数，特别是在二分类任务中。
sigmoid函数推导过程
h2728677716的博客
02-21 1428
1.因为我们逻辑回归是用来做二分类，二分类有个特点就是正例概率+负例概率=1 所以我们可以将二分类的结果分为0或1，如果随机变量X只取0和1两个值并且相应的概率为 Pr(X=1) = p,Pr(X=0) = 1-p, 0<p<1 那么随机变量X服从参数为p的伯努利分布（0-1分布） 就是说二分类的话数据符合伯努利分布这种情况。 概率函数： 2.如果伯努利分布是指数族分布，那么就可以用广义线性回归建模，用广义线性回归的性质推出sigmoid函数。 广义线性回归有三条性质
最详细的Sigmoid函数的求导推导过程
旅途
08-26 7929
Sigmoid函数为logistic回归、神经网络等模型的激活函数。 函数图像如下： 函数： 导数： 推导过程为： 其中 ...
Sigmoid 函数导数推导
weixin_30522095的博客
04-08 506
\[ \begin{align} \widehat{y} = a =\sigma(z) = & \frac{1}{1+e^{-z}} \\ -------------&-----------------------\\ \sigma(z)' = \frac{\mathrm{d}a}{\mathrm{d}z}= & (\frac{1}{1+e^{-z}})' \\ ...
Sigmoid函数求导（保姆级推导过程）
发几十块的吧
01-23 1万+
本文详细介绍了两种求导Sigmoid函数的方法，即使是初学者也能轻松理解。
激活函数中如何从sigmoid函数推导至tanh函数
02-23
Sigmoid函数和Tanh函数都是激活函数，...可以从sigmoid函数推导出tanh函数，只需要将sigmoid函数的参数改变一下，即可转换成tanh函数。具体的过程是：将sigmoid函数的参数a变为-a，其余参数不变，就可以得到tanh函数。
logistic回归为什么采用sigmoid函数——从广义线性函数推导
zhy_is_pig的博客
09-11 2063
目录Logistic回归基本形式为什么采用sigmoid函数？广义线性模型 Logistic回归基本形式 为什么采用sigmoid函数？ 广义线性模型
sigmoid激活函数手写推导过程
weixin_46035550的博客
06-24 225
零基础小白的推导过程
【逻辑回归】逻辑回归sigmoid函数怎么来的
ywj_1991的博客
09-29 1220
《老饼讲解-机器学习》：本文讲解，逻辑回归模型sigmoid函数由来的思路与推导。推导思路主要来源于香农信息量。
sigmoid函数是如何诞生的（最大熵原理）
zynash2的博客
02-05 6981
      由于工作的原因没有在学校里那么多学习的时间，对于很多基础知识纠结好久还是觉得应该记录下来，于是就打开了好多年没用的csdn，开始记录下自己的偶尔的学习过程，希望能以此勉励自己。当然第一篇博客，自然逼格不能低，先来谈谈自己一直很好奇的，大牛们熟的不能再熟的sigmod函数究竟是怎么得来的。       很多人可能会说，懵的？那你怕是石乐志，其实很多地方都有解释这个函数为什么好，但始终没...
Sigmoid函数以及逻辑回归的由来
qq_44289607的博客
01-30 3238
线性回归时统计学经典算法，它能够拟合出一条直线来描述变量之间的线性关系。但在实际中，变量之 间的关系通常都不是一条直线，而是呈现出某种曲线关系。在统计学的历史中，为了让统计学模型能够更好地拟合曲线，统计学家们在线性回归的方程两边引入了联系函数（link function），对线性回归的方程做出了各种样的变化，并将这些变化后的方程称为“广义线性回归”。其中比较著名的有等式两边同时取对数的对数函数回归、同时取指数的S形函数回归等。 ...
sigmoid函数求导-只要四步
热门推荐
kakazai.cn
04-10 4万+
sigmoid函数的导数是f′(x)=f(x)(1−f(x))​f ^ { \prime } ( x ) =f ( x ) ( 1 - f ( x ) ) ​f′(x)=f(x)(1−f(x))​ 推导过程如下： 1.先将f(x)稍微变形 f(x)=11+e−x=exex+1=1−(ex+1)−1​f ( x ) = \frac { 1 } { 1 + e ^ { - x } }=\frac { ...
三种方法计算 Sigmoid函数的微分
weixin_44331401的博客
11-15 4084
g(x)=11+e−xg(x)=\frac{1}{1+e^{-x}}g(x)=1+e−x1​是分类算法的预测函数，也称为 Sigmoid Function 或 Logistic Function来证明 Sigmoid Function 的一个特性 ddxg(x)=g(x)(1−g(x)) \frac{d}{d x} g(x)=g(x)(1-g(x)) dxd​g(x)=g(x)(1−g(x)) ...
逻辑回归三部曲——逻辑回归和sigmod函数的由来
阿黎逸阳的博客
05-02 2375
逻辑回归函数的由来
逻辑回归_sigmod函数
weixin_42471573的博客
05-11 2620
逻辑回归_sigmod函数
Sigmoid函数求导
Neptune236的博客
03-06 6799
Sigmoid函数求导 标签（空格分隔）： ML   sigmoid函数是神经网络中常用的激活函数之一，其定义为 σ(x)=11+e−x\sigma(x) = \frac{1}{1 + e^{-x}}σ(x)=1+e−x1​ 该函数的定义域为(−∞,+∞)(-\infty,+\infty)(−∞,+∞),值域为(0,1)(0,1)(0,1)   sigmoid函数的导函数具有以下形式 σ′(x)=σ(x)[1−σ(x)]\sigma'(x) = \sigma(x)[1-\sigma(x)]σ′(x)=σ(
sigmoid函数的推导
06-04
sigmoid函数是一种常用的激活函数，它将输入值映射到0到1之间的值，常用于神经网络的输出层或隐藏层。sigmoid函数的数学表达式为： $$f(x)=\frac{1}{1+e^{-x}}$$ sigmoid函数的推导可以通过下面的步骤来实现： 1. 首先，将sigmoid函数的输出值表示为$y=f(x)$。 2. 将sigmoid函数的输出值对输入值$x$求导，得到： $$\frac{dy}{dx}=\frac{d}{dx}\frac{1}{1+e^{-x}}=\frac{e^{-x}}{(1+e^{-x})^2}=\frac{1}{1+e^{-x}}\cdot\frac{e^{-x}}{1+e^{-x}}=\frac{1}{1+e^{-x}}\cdot\left(1-\frac{1}{1+e^{-x}}\right)$$ 3. 将上式中的$\frac{1}{1+e^{-x}}$替换为$y$，得到： $$\frac{dy}{dx}=y\cdot(1-y)$$ 这个公式表明，sigmoid函数的导数可以用函数自身来表示。这个性质在神经网络中非常有用，因为它可以方便地计算反向传播算法中的梯度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值