15、神经网络中的激活函数、损失函数、优化与正则化技术

神经网络中的激活函数、损失函数、优化与正则化技术

1. 激活函数的重要性

在神经网络中，部分激活函数可能会出现偏导数为零的情况。因此，选择一个能使偏导数取较高值，同时将转换后的特征约束在期望小范围内的激活函数至关重要。接下来，我们将介绍几种更优的激活函数。

1.1 Softmax函数

Softmax函数是一种重要的激活函数，特别适用于对数几率（logits）。它作用于一个向量，输出一个所有元素之和为1的向量，将每个元素（代表一个类别）转换为概率，即对向量进行归一化处理。该函数常用于多类别分类任务。

1.2 ReLU函数

早期神经网络研究中，Sigmoid函数常被用作隐藏单元的激活函数，但如今趋势已变。ReLU（Rectified Linear Unit）函数是一种著名的激活函数，其表达式为：
[
ReLU(x) = \max(0, x)
]

ReLU函数对于输入特征 (x) 在范围 ([0, +\infty)) 内表现为线性函数（输出等于输入值），但会将负值截断为零，是隐藏单元的常用选择。不过，ReLU函数在输入为零时不可导，因为其从左侧、右侧趋近于零的极限不存在，这导致ReLU函数在零处不连续。但在软件实现中，为了进行梯度计算，会将ReLU在零处的导数人为设为零，以便网络学习。

ReLU函数的导数为：
[
ReLU’(x) =
\begin{cases}
1, & x > 0 \
0, & x \leq 0
\end{cases}
]

可以看出，对于较