概念理解
这个帖子讲得很清楚
传送门
为什么要有这些东西
- 只有在数据很庞大的时候(在机器学习中,数据一般情况下都会很大),我们才需要使用epochs,batch size,iteration这些术语,在这种情况下,一次性将数据输入计算机是不可能的。因此,为了解决这个问题,我们需要把数据分成小块,一块一块的传递给计算机,在每一步的末端更新神经网络的权重,拟合给定的数据。(如之前学习的批量梯度下降、随机梯度下降、小批量梯度下降所示)
- 考虑由三层三个卷积层组成的CNN,每个卷积层具有33内核,步幅为2和same填充,最底层输出100个特征图,中间层输出200个特征图,最顶层输出400个特征图。输入图像是200300像素的RGB图像。使用4字节存储一个参数,训练一个包含50个图像的小批量时,将有564.6MB内存
epoch
- 当一个完整的数据集通过了神经网络一次并且返回了一次,这个过程称为一次epoch。然而,当一个epoch对于计算机而言太庞大的时候,就需要把它分成多个小块。
为什么要使用多于一个epoch?
- 在神经网络中传递完整的数据集一次是不够的,而且我们需要将完整的数据集在同样的神经网络中传递多次。但请记住,我们使用的是有限的数据集,并且我们使用一个迭代过程即梯度下降来优化学习过程。如下图所示。因此仅仅更新一次或者说使用一个epoch是不够的。随着epoch数量增加,神经网络中的权重的更新次数也在增加,曲线从欠拟合变得过拟合。
梯度求解再度理解
- 使用反向传播进行求解
- 反向传播只要确定了激活函数和损失函数,给一个输入值就可以求导。和线性回归类似,确定了计算方程和损失函数,直接可以求出求导公式,给个输入值就能算出结果