非线性VS线性

1.打破线性限制

在没有非线性激活函数的情况下，无论网络有多少层，整个网络本质上仍然是一个线性变换。这是因为线性方程的复合仍然是线性的(即：Ax+B和Cx+D的复合仍然是一个形式为 Ex + F 的线性方程)，因此，如果网络只包含线性层，它的表达能力非常有限，只能学习输入数据的线性组合。

2. 增加决策边界的灵活性

在分类任务中，非线性激活函数使得网络可以学习非线性的决策边界。举个简单的例子，如果数据不是线性可分的**（例如，数据点在二维平面上形成一个圆形）**，纯线性模型就无法有效分开这些点。非线性激活函数（**如ReLU、sigmoid或tanh）**允许网络学习复杂的、非线性的边界，以正确分类这些数据点。

3.激活函数的特性

不同的非线性激活函数有其独特的数学特性，这些特性使它们适用于不同的场景：

ReLU (Rectified Linear Unit): ReLU函数 f(x)= max(0,x) 对正值保持线性这使得网络在训练时保持了一定的稀疏性，因为负值的结果为零，从而使得网络中的一部分神经元不激活。这种稀疏性可以提高计算效率，并提高网络的泛化能力（模型对未见过的新数据的处理能力）。

sigmoid: 二分类问题，老生常谈了。

tanh函数： 输出范围-1到1，是一个零中心化的激活函数，有助于数据在模型中的传递，避免某些层的输出始终为正，从而提高学习效率。

4.多层非线性函数进行叠加

通过叠加多个非线性变换层，神经网络可以构建一个复杂的函数映射，这个映射可以逼近或表示极其复杂的函数。理论上，一个具有足够深度和非线性激活的神经网络可以逼近几乎任何连续函数 （这被称为神经网络的万能逼近定理）。每经过一个非线性层，网络都可以进一步细化其对输入数据的理解和表示，从而更有效地捕捉到数据中的复杂结构和模式。

总结来说，非线性激活函数是神经网络能够执行复杂任务的关键，它们提供了必要的非线性特性，使得网络不仅仅能处理简单的线性问题，还能学习和解决现实世界中的非线性、多变和复杂的问题。