人工智能100问☞第29问：常见的激活函数有哪些？

目录

一、通俗解释

二、专业解析

三、权威参考

---

激活函数如Sigmoid、ReLU、Softmax等，通过非线性映射与梯度优化机制，赋予神经网络“思考能力”，既打破线性束缚，又调控信号传递的强度与范围。

一、通俗解释

激活函数就像神经网络的“开关”和“调节器”，它决定了一个神经元是否要被激活，以及激活到什么程度。

​​Sigmoid​​：像一条压扁的S型曲线，能把任何输入压缩到0-1之间。比如“考试分数”转成“及格概率”。但它在高分和低分时反应迟钝，容易“卡住”学习进度。

​​ReLU​​：简单粗暴的“开关”——输入正数就放行，负数直接归零。类似“只允许优秀员工发言”，但有些员工可能永远没机会开口（死区问题）。

​​Tanh​​：升级版Sigmoid，输出范围变成-1到1，像“评分系统”既有好评也有差评，适合需要平衡正负的场景。

​​Leaky ReLU​​：给“被淘汰的员工”一点机会，负数输入时输出微小值，避免完全沉默。

​​Softmax​​：多选一的“投票机”，把多个输入转成概率分布，总和为1。比如预测图片是猫、狗还是鸟的概率。