什么是激活函数，常用的激活函数有哪些？

激活函数在神经网络中扮演着关键角色，它们对每个神经元的输入进行非线性变换，从而允许网络学习和表示数据中的复杂模式。如果神经网络仅使用线性变换，那么无论网络有多少层，它都只能学习到输入与输出之间的线性关系。而大多数现实世界的问题，特别是像金融时间序列这样的问题，涉及复杂的、非线性的关系，因此激活函数是必不可少的。

常用的激活函数

1. Sigmoid 函数

   • 数学表达式: ( f(x) = \frac{1}{1 + e^{-x}} )
   • 特点:
     • 输出范围在 (0, 1) 之间。
     • 适合用于二分类问题或作为阶跃函数的平滑近似。
     • 是一个光滑且可微的函数，有助于基于梯度的优化算法。
   • 缺点:
     • 当输入值很大或很小时，梯度接近于零，这可能导致梯度消失问题。
     • 不是以零为中心，可能影响网络收敛速度。

2. ReLU (Rectified Linear Unit) 函数

   • 数学表达式: ( f(x) = \max(0, x) )
   • 特点:
     • 计算简单，加快了计算和训练过程。
     • 有助于缓解深度网络中的梯度消失问题。
   • 缺点:
     • 对于负数输入输出为零，可能导致“死”神经元现象。
     • 在 x=0 处不平滑，可能会造成优化困难。

3. Leaky ReLU 函数

   • 数学表达式: ( f(x) = \max(0.01x, x) ) （斜率可以调整）
   • 特点:
     • 解决了标准 ReLU 的“死”神经元问题，对于负数输入也能产生非零响应。
     • 是一个连续函数，即使对于负数输入也有定义良好的导数。
   • 缺点:
     • 负数部分的斜率是一个超参数，需要仔细调整。
     • 相比其他激活函数如 tanh 和 sigmoid，它提供的负激活程度较低。

4. Tanh (双曲正切) 函数

   • 数学表达式: ( f(x) = \tanh(x) = \frac{e^x - e^{-x}}{ex + e^{-x}} )
   • 特点:
     • 输出范围在 (-1, 1) 之间。
     • 以零为中心，有利于网络的学习。
   • 缺点:
     • 类似于 Sigmoid 函数，当输入绝对值较大时，梯度会趋近于零。

5. Softmax 函数

   • 通常用于多分类问题的最后一层，将多个输出转换成概率分布。
   • 确保所有输出之和为1，适用于分类任务。

---

🌟 加入【技术图书分享与阅读笔记】，一起遨游知识的星海！ 🌟

在这个快速变化的时代，技术日新月异，唯有不断学习才能保持竞争力。【星球酱的共读群】是一个充满活力和热情的学习社区，我们专注于最新的技术趋势和技术图书，致力于为每一位成员提供一个持续成长和交流的平台。

在这里，你可以：

• 获取最新技术资讯：我们持续关注前沿技术动态，确保你不会错过任何重要的技术更新。
• 共同阅读最新技术图书：每月精选一本高质量的技术书籍，与志同道合的朋友一起阅读、讨论，共同进步。
• 分享学习笔记和心得：定期更新学习笔记和心得，帮助你更好地理解和吸收知识。
• 互动交流，共同成长：与来自各行各业的技术爱好者交流经验，互相激励，共同解决学习中的难题。

无论你是技术新手还是资深开发者，【技术图书分享与阅读笔记】都欢迎你的加入！让我们一起探索技术的奥秘，享受学习的乐趣，共同在知识的星海中遨游！

👉 立即加入我们，开启你的学习之旅吧！