【#3 激活函数：深度学习神经网络的心脏】

---

前言

在深度学习的世界里，激活函数扮演着至关重要的角色。它们不仅仅是数学函数，更是神经网络能够学习和模拟复杂非线性关系的关键。本文将深入探讨激活函数的作用、常见的激活函数类型，并通过简单的代码示例来展示它们在实际应用中的使用。

激活函数的作用

激活函数的主要作用是为神经网络引入非线性。如果没有非线性，无论神经网络有多少层，其整体功能仍然是一个线性变换，这限制了网络模拟复杂函数的能力。通过引入非线性激活函数，神经网络能够学习和表示更加复杂的模式。

常见的激活函数

1. Sigmoid函数：

   • 公式：$f(x)=\frac{}{1+e^{-x}}$