单调递增且值域非负的函数

最新推荐文章于 2021-12-02 20:41:53 发布

飞机火车巴雷特

最新推荐文章于 2021-12-02 20:41:53 发布

阅读量4.2k

点赞数 1

分类专栏：机器学习文章标签：几何学

-

本文链接：https://blog.csdn.net/qq_36158230/article/details/120917097

版权

机器学习专栏收录该内容

33 篇文章

订阅专栏

本文介绍了sigmoid函数的0-1值域特性及其求导，扩展到一般指数函数形式，并讨论了softplus函数的连续性和简单求导。通过实例说明如何将这些函数推广到不同底数，适用于神经网络激活函数的选择与理解。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、sigmoid函数

函数特点：其值域位于0到1之间，且求导简单。

$\tiny f(x)=\frac{1}{1+e^{-x}}, x\in (-\infty ,+\infty ), f(x)\in (0,1)$

图像

推广：可以使得 $\tiny e^{-x}$ 推广成 $\tiny e^{-\alpha x}$ ，其中 $\tiny \alpha$ 的作用是使得以 $\tiny e$ 为底的指数函数推广到以其他正数为底的指数函数，因为 $\tiny e^{-\alpha x}=(e^{\alpha})^{-x}$ 。当 $\tiny \alpha$ 为1时，能够得到标准sigmoid函数， $\tiny \alpha$ 的具体数值根据你的实际模型/数据来进行调整。

二、指数函数

函数特点：指数级增长，求导简单。

$\tiny f(x)=e^{x}, x\in (-\infty ,+\infty ), f(x)\in (0,+\infty)$

图像

推广：推广方法和sigmoid一样，添加一个 $\tiny \alpha$ 即可，然后变成其他底数的指数函数。

三、softplus函数

函数特点：像Relu激活函数，但连续性更好，并且求导也简单。

$\tiny f(x)=log(1+e^{x}), x\in (-\infty ,+\infty ), f(x)\in (0,+\infty)$

图像

推广：推广方法和sigmoid一样，添加一个 $\tiny \alpha$ 即可，然后变成其他底数的指数函数。

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

飞机火车巴雷特 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。