记录在深度学习中的疑问点
传统的神经网络在训练数据的时候,已经被训练过的数据会不会被二次训练,取决于你的训练方法和参数设置。一般来说,有两种常见的训练方法:批量梯度下降法(Batch Gradient Descent)和随机梯度下降法(Stochastic Gradient Descent)。
批量梯度下降法是指每次更新权重时,使用所有的训练数据来计算损失函数和梯度。这种方法的优点是可以得到全局最优解,而且收敛速度快;缺点是计算量大,需要很多内存空间,而且容易陷入局部最优解。在这种方法中,每个训练数据只会被使用一次来更新权重。
随机梯度下降法是指每次更新权重时,只使用一个或少数几个训练数据来计算损失函数和梯度。这种方法的优点是计算量小,不需要很多内存空间,而且可以跳出局部最优解;缺点是收敛速度慢,而且可能会出现震荡或者停滞。在这种方法中,每个训练数据可能会被多次使用来更新权重。
除了这两种极端的情况外,还有一种折中的方法叫做小批量梯度下降法(Mini-batch Gradient Descent),它是指每次更新权重时,使用一小部分(比如32或64个)训练数据来计算损失函数和梯度。这种方法结合了批量和随机的优点,在实际应用中比较常用。
所以说,在传统的神经网络中,并不是所有的训练数据都会被二次训练,也不是所有的训练数据都只会被一次训练。具体情况要看你选择了什么样的训练方法和参数。
至于层数和训练次数之间的区别与联系,可以参考为什么神经网络层数越多越好?训练次数与层数的区别与联系_神经网络层数越多越好吗_Suprit的博客-CSDN博客