1.写出常用的激活函数及其导数
参考链接：https://blog.csdn.net/colourful_sky/article/details/79164720
1.Sigmoid
Sigmoid又叫作 Logistic 激活函数，它将实数值压缩进 0 到 1 的区间内，还可以在预测概率的输出层中使用。该函数将大的负数转换成 0，将大的正数转换成 1。
Sigmod数学公式为：
image.png
Sigmod的导数公式为：
本文探讨了深度学习中常见的激活函数Sigmoid、Tanh和Relu及其导数，解释了为何不能将神经网络参数初始化为0，讨论了多层感知机表示异或逻辑所需的最少隐层数，以及Sigmoid和Tanh导致梯度消失的原因。同时，提到了多层感知机的均方误差和交叉熵损失函数在分类问题中的应用。
最低0.47元/天 解锁文章
扫一扫
2133
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
