传统的神经网络在训练数据的时候，已经被训练过的数据会被二次训练吗？

• 记录在深度学习中的疑问点

传统的神经网络在训练数据的时候，已经被训练过的数据会不会被二次训练，取决于你的训练方法和参数设置。一般来说，有两种常见的训练方法：批量梯度下降法（Batch Gradient Descent）和随机梯度下降法（Stochastic Gradient Descent）。

批量梯度下降法是指每次更新权重时，使用所有的训练数据来计算损失函数和梯度。这种方法的优点是可以得到全局最优解，而且收敛速度快；缺点是计算量大，需要很多内存空间，而且容易陷入局部最优解。在这种方法中，每个训练数据只会被使用一次来更新权重。

随机梯度下降法是指每次更新权重时，只使用一个或少数几个训练数据来计算损失函数和梯度。这种方法的优点是计算量小，不需要很多内存空间，而且可以跳出局部最优解；缺点是收敛速度慢，而且可能会出现震荡或者停滞。在这种方法中，每个训练数据可能会被多次使用来更新权重。

除了这两种极端的情况外，还有一种折中的方法叫做小批量梯度下降法（Mini-batch Gradient Descent），它是指每次更新权重时，使用一小部分（比如32或64个）训练数据来计算损失函数和梯度。这种方法结合了批量和随机的优点，在实际应用中比较常用。

所以说，在传统的神经网络中，并不是所有的训练数据都会被二次训练，也不是所有的训练数据都只会被一次训练。具体情况要看你选择了什么样的训练方法和参数。

至于层数和训练次数之间的区别与联系，可以参考为什么神经网络层数越多越好？训练次数与层数的区别与联系_神经网络层数越多越好吗_Suprit的博客-CSDN博客