深度学习笔记

最新推荐文章于 2024-10-09 21:39:17 发布

学习起来头很大

最新推荐文章于 2024-10-09 21:39:17 发布

阅读量41

点赞数

文章标签：深度学习笔记人工智能

本文链接：https://blog.csdn.net/weixin_47814901/article/details/133103657

版权

1.有关前向传播和反向传播

在深度学习中，前向传播（Forward Propagation）和反向传播（Backward Propagation）是神经网络训练的两个关键步骤。

前向传播是指通过神经网络将输入数据从输入层传递到输出层的过程。在前向传播过程中，输入数据通过一系列的权重和激活函数的计算，逐层传递至输出层，最终得到网络的预测结果。具体而言，前向传播的步骤如下：

将输入数据传递给输入层。
在每一层中，计算当前层的加权输入（加权和）。
将加权输入输入到激活函数中，得到当前层的输出。
将当前层的输出作为下一层的输入，重复步骤2和步骤3，直到达到输出层，得到最终的预测结果。

反向传播是指根据预测结果与真实标签之间的差异，从输出层反向计算梯度，并将梯度传递回网络的每一层，以便更新网络的权重和偏置。反向传播的步骤如下：

计算预测结果与真实标签之间的差异，得到损失函数。
计算输出层的梯度，即损失函数对输出层输出的偏导数。
将输出层的梯度向前传递到前一层，计算该层的梯度。
重复步骤3，直到将梯度传递到输入层，这样就得到了每一层的梯度。
使用梯度下降等优化算法，根据梯度更新每一层的权重和偏置，以减小损失函数。

前向传播和反向传播的区别在于方向和目的。前向传播是从输入层到输出层的信息传递过程，用于计算网络的预测结果。而反向传播是根据预测结果与真实标签之间的差异，从输出层到输入层的梯度传递过程，用于计算梯度并更新网络的参数，以使预测结果逼近真实标签。前向传播和反向传播是深度学习中训练过程的两个关键步骤，通过不断迭代前向传播和反向传播，神经网络可以逐渐学习到输入数据的特征与标签之间的映射关系。

2.激活层

激活层的主要作用就是进行非线性变换。在卷积神经网络（CNN）中，卷积层和池化层的作用是提取输入图像的特征，并逐渐减小特征图的空间尺寸。在经过多个卷积层和池化层之后，得到的特征图仍然是二维的，每个特征图都对应着一些局部的特征。为了进行分类或其他任务的处理，我们需要将这些二维特征图转换为一维向量，以便输入到全连接层中。全连接层的每个神经元都与前一层的所有神经元相连，因此可以处理整个特征向量。这样，全连接层将高维的特征表达映射到低维的输出空间，进行最终的任务处理。全连接层在卷积神经网络中起到了将高维特征图转换为一维向量的作用，以便进行进一步的分类、回归或其他任务的处理。

激活层（Activation Layer）是指位于神经网络的隐藏层或输出层的一种层类型。它的作用是引入非线性特性，使网络能够更好地学习和表示复杂的模式和函数关系。

激活层通过应用激活函数（Activation Function）对输入的加权和进行非线性变换，生成输出。激活函数的作用是引入非线性映射，打破线性模型的限制，增加网络的表达能力。具体而言，激活函数将输入的加权和进行非线性变换，并输出给下一层。

在神经网络中引入非线性变换的主要原因是为了增加网络的表达能力。线性变换只能表示线性关系，而现实世界中的数据和模式往往是复杂的、非线性的。

如果神经网络只由线性变换组成，那么无论多少层的线性变换叠加在一起，整个网络仍然只能表示线性关系。这会导致网络的表达能力受限，无法捕捉到许多复杂的模式和函数关系。

通过引入非线性变换，即激活函数的应用，神经网络可以打破线性模型的限制，使其能够学习和表示更复杂的模式和函数关系。非线性变换可以使神经网络具备更强的拟合能力，能够更好地适应现实世界中的非线性数据。

此外，非线性变换还具有其他重要的性质和作用：

非线性变换可以引入非线性特性，增加网络的灵活性。这使得网络可以捕捉到更多的细节和复杂性，提高对数据的建模能力。
非线性变换可以帮助网络解决分类、回归等复杂任务。许多实际问题的决策边界和目标函数都是非线性的，通过引入非线性变换，神经网络能够更好地逼近和拟合这些非线性关系。
非线性变换具有平滑性和连续性的特点，使得网络的训练过程更加稳定和可靠。

综上所述，激活层使网络更加强大，增加它的能力，使它可以学习复杂的事物，复杂的表单数据，以及表示输入输出之间非线性的复杂的任意函数映射。

3.隐藏层和激活层

隐藏层是神经网络中的一层或多层，位于输入层和输出层之间。隐藏层由多个神经元组成，每个神经元与前一层的所有神经元相连。隐藏层的作用是对输入数据进行一系列的非线性变换和特征提取，以学习和表示数据中的复杂模式和关系。

激活层是神经网络中的一种层类型，它可以位于隐藏层或输出层。激活层通过应用激活函数对输入进行非线性变换，生成输出。激活函数引入非线性特性，打破线性模型的限制，使网络能够更好地学习和表示复杂的模式和函数关系。

因此，隐藏层和激活层是两个不同的概念。隐藏层是神经网络的结构组成部分，它是由神经元组成的层，负责进行非线性变换和特征提取。而激活层是指对输入进行非线性变换的一种层类型，可以位于隐藏层或输出层，用于引入非线性特性。

在典型的神经网络中，隐藏层通常包含激活层，因为隐藏层需要通过激活函数引入非线性。但并非所有的激活层都必须是隐藏层，输出层也可以使用激活层来进行最终的输出转换。隐藏层和激活层共同作用，提高神经网络的表达能力和适应性，以解决各种复杂的任务和问题。

一些选择激活函数的经验法则：
如果输出是0、1值（二分类问题），则输出层选择 sigmoid 函数，然后其它的所有单元都选择 Relu 函数。这是很多激活函数的默认选择，如果在隐藏层上不确定使用哪个激活函数，那么通常会使用 Relu 激活函数。有时，也会使用 tanh 激活函数。