多层神经网络的训练流程

 多层训练的基本过程：

1. 数据准备：

   • 收集和整理训练数据集，包括输入特征和对应的目标标签。
   • 进行数据预处理，例如归一化、标准化或者进行特征工程等操作。

2. 模型构建：

   • 定义神经网络的结构，包括输入层、隐藏层和输出层的神经元数量和连接方式。
   • 选择适当的激活函数和损失函数，用于引导模型学习。
   • 初始化模型的权重和偏置参数。

3. 前向传播：

   • 将训练数据输入到神经网络中，通过一系列的线性变换和非线性激活函数计算出每个神经元的激活值。
   • 在每一层之间传递激活值，并计算网络输出结果。

4. 计算损失：

   • 将网络输出与真实标签进行对比，计算损失函数的值，来衡量模型的预测误差。

5. 反向传播：

   • 通过反向传播算法，从输出层向输入层逐层更新网络中的权重和偏置参数，以降低损失函数的值。
   • 根据损失函数的梯度，利用链式法则更新网络中的参数。

6. 参数优化：

   • 使用优化算法（如梯度下降法）来迭代地更新模型的参数，以最小化损失函数。
   • 可以调整学习率、批量大小等超参数，以控制模型的训练速度和收敛性。

7. 重复迭代：

   • 重复执行前向传播、损失计算、反向传播和参数优化的步骤，直到达到指定的停止条件（如达到最大迭代次数、损失函数收敛等）。

8. 模型评估与测试：

   • 使用验证集或交叉验证来评估模型的性能，并进行模型选择和调优。
   • 最后使用测试集对模型进行评估，以获取最终的性能指标。

神经网络模型训练的基本过程 

初始化权重矩阵，拿一个或一批数据作为输入，带入权重矩阵中计算，最终得到预测值；拿到样本的真实值，计算损失；根据损失进行反向传播，更新参数权重；重复以上操作，以一个或者几个条件满足就停止训练：损失函数值小，准确度满足了条件，迭代到了指定次数。

一个多层神经网络的例子

我们假设i1和i2为输入，h1和h2作为神经网络的第一层（隐藏层），o1和o2作为第二次也就是输出层。

1. 前向传播。我们假设h1和o1的计算公式如下，同理h2和o2与之类似。h1的输出经过激活函数输入到o1中。

2. 损失计算。更具损失函数进行损失计算。

3. 反向传播。在反向传播过程就是计算梯度的过程。

4. 权重更新。根据梯度将每一个权重进行更新。