BP神经网络学习内容分享：学习激活函数和损失函数

一、激活函数

1.激活函数的作用

激活函数（Activation Function）在神经网络中扮演着至关重要的角色。它们的主要作用是将神经元的输入（加权和）转化为一个输出信号，这个输出信号可以进一步作为后续神经元或层的输入。具体来说，激活函数的作用包括以下几个方面：

（1）引入非线性：激活函数的核心功能之一是引入非线性因素。由于神经网络的线性组合本身仍然是线性的，如果不使用激活函数，那么无论网络有多少层，输出都是输入的线性组合，这种网络也被称为线性网络。而引入非线性激活函数后，神经网络可以逼近任意复杂的非线性函数，极大地提高了网络的学习和表达能力。

（2）控制输出范围：一些激活函数将输出限制在特定的范围内，比如Sigmoid函数将输出限制在(0,1)之间，Tanh函数将输出限制在(-1,1)之间。这种特性在处理概率值、限制数据范围等方面非常有用。

（3）稀疏性：某些激活函数（如ReLU及其变体）能够在输出中产生稀疏性，即很多神经元的输出接近于0。这种稀疏性可以减少参数之间的相互依赖，有助于缓解过拟合问题，同时计算上也更加高效。

（4）梯度优化：在反向传播算法中，激活函数的导数（梯度）决定了网络中权重的更新方式。一个好的激活函数应该具有稳定的梯度，以便于在网络训练过程中权重的优化。例如，Sigmoid函数在输入远离0时梯度趋近于0，这会导致梯度消失问题；而ReLU函数则能在正数部分保持稳定的梯度，有助于网络训练。

2.常见激活函数的应用场景和优缺点

常见的激活函数包括Sigmoid、Tanh、ReLU（Rectified Linear Unit，修正线性单元）、Leaky ReLU、ELU（Exponential Linear Unit）等。每种激活函数都有其特定的应用场景和优缺点，在设计神经网络时需要根据实际问题选择合适的激活函数。以下是几种常见激活函数的应用场景、优点和缺点的详细分析：

（1）Sigmoid函数

应用场景：Sigmoid函数常用于二分类问题的输出层，因为它可以将任意实值压缩到(0,1)区间内，表示概率。

优点：输出范围在(0,1)之间，适合作为概率输出。连续且可导，便于使用梯度下降等优化算法。

缺点：容易出现梯度消失问题，当输入值非常大或非常小时，梯度接近于0，导致训练速度变慢。输出不是以0为中心，这可能导致梯度更新时出现不稳定的情况。同时计算成本较高，因为涉及到指数运算。

（2）Tanh函数

应用场景：Tanh函数是Sigmoid函数的改进版，常用于隐藏层，因为它的输出范围是(-1,1)，以0为中心。

优点：输出以0为中心，有助于加快收敛速度。与Sigmoid函数类似，也是连续且可导的。

缺点：仍然存在梯度消失问题，尤其是在网络较深时。计算成本也较高，同样涉及到指数运算。

（3）ReLU函数

应用场景：ReLU（Rectified Linear Unit）函数是目前深度学习中最为流行的激活函数之一，广泛应用于各种神经网络模型中。

优点：计算速度快，只需判断输入是否大于0。解决了梯度消失问题（在正区间内）。收敛速度远快于Sigmoid和Tanh。

缺点：当输入为负时，ReLU的输出为0，这可能导致神经元“死亡”，即权重不再更新。输出不是以0为中心。在某些情况下，ReLU函数可能不是最佳选择，因为它可能无法充分利用负值输入的信息。

（4）LeakyReLU函数

应用场景：LeakyReLU是对ReLU函数的改进，旨在解决ReLU函数在输入为负时神经元“死亡”的问题。

优点：允许负值输入有一个小的梯度，避免了神经元“死亡”的问题。继承了ReLU函数的优点，如计算速度快、收敛速度快等。

缺点：需要手动设置负值输入的斜率，这增加了超参数调优的复杂性。在某些情况下，LeakyReLU可能不如ReLU或其他激活函数表现优异。

（5）ELU函数

应用场景：ELU（Exponential Linear Unit）函数是另一种旨在解决ReLU函数缺点的激活函数。

优点：在负值区域有一个小的负斜率，使得输出的平均值接近于零，有助于减少偏移和加速学习。继承了ReLU函数的优点，如计算速度快等。

缺点：计算成本略高于ReLU函数，因为涉及到指数运算。在某些情况下，可能需要调整超参数以获得最佳性能。

每种激活函数都有其独特的应用场景、优点和缺点。在选择激活函数时，需要根据具体问题的需求、网络的结构和层数以及训练数据的特性进行综合考虑。例如，在二分类问题的输出层中，Sigmoid函数是一个很好的选择；而在需要快速收敛和减少计算成本的场景中，ReLU函数则更为合适。同时，随着深度学习技术的不断发展，新的激活函数也在不断涌现，为神经网络的设计和优化提供了更多的可能性。

二、损失函数的作用和应用场景

1.损失函数在机器学习和深度学习中扮演着至关重要的角色，它的主要作用包括：

（1）衡量预测误差：损失函数是评估模型预测输出与实际观测目标值之间差异的一种量化方式。它将模型预测的结果映射到一个非负实数上，这个数值反映了预测错误的程度。当模型的预测越接近真实值时，损失函数的值就越小。

（2）优化目标：在训练模型的过程中，损失函数被当作优化算法的目标函数。模型参数通过反向传播算法和梯度下降等优化方法来调整，目的是最小化整个训练数据集上的平均损失，即最小化经验风险。

（3）模型性能评估：损失函数提供了评价模型好坏的标准。训练结束后，通过测试集上的损失值可以判断模型的泛化能力，也就是模型在未见过的新数据上的预测表现。

（4）模型选择和比较：不同的任务和模型可能需要不同的损失函数。在设计和训练模型时，选择合适的损失函数是至关重要的，这有助于优化模型针对特定问题的表现，并可以在不同模型之间进行公正有效的比较。

2.常见的损失函数包括但不限于以下几种：

（1）均方误差（Mean Squared Error, MSE）：主要应用于回归问题中，计算预测值与真实值之间的平方误差平均值。

（2）均方根误差（Root Mean Squared Error, RMSE）：是MSE的平方根，也是回归问题中常用的，但它给出的是误差的标准偏差形式，便于直观理解。

（3）交叉熵损失（Cross-Entropy Loss）：主要用于分类问题，尤其是多类别分类和逻辑回归中，也称为二元交叉熵损失（Binary Cross-Entropy）。

（4）绝对误差（Mean Absolute Error, MAE）：也是一种回归损失函数，计算预测值与真实值之间绝对误差的平均值，相比MSE对异常值不敏感。

每种损失函数都有其应用场景和优缺点，选择时需综合考虑模型的性质、数据分布特征以及优化难度等因素。

三、在BP神经网络中实现多种激活函数和损失函数对比其效果。

1.不同的激活函数和损失函数进行组合

（1）relu + mse(常见组合)

（2）sigmoid + mse 

（3）tanh + mse