深度学习的epochs，batch_size、iterations的理解

深度学习中经常要用到epochs，batch_size、iterations这些术语，把庞大的数据分成小块，一块一块地传递给计算机，每一步的末尾更新神经网络的前缀，拟合数据

0深度学习的优化算法、梯度下降

梯度的含义是斜率或者斜坡的倾斜度。 下降的含义是代价函数的下降。
（损失函数：计算的是一个样本的误差

代价函数：是整个训练集上所有样本误差的平均

目标函数：代价函数 + 正则化项

在实际中，损失函数和代价函数是同一个东西，目标函数是一个与他们相关但更广的概念。）
算法是迭代的，意思是需要多次使用算法获取结果，以得到最优化结果。
每次的参数更新有两种方式。

第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。

另一种，每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为随机梯度下降，stochastic gradient descent。这个方法速度比较快，但是收敛性能不太好，可能在最优点附近晃来晃去，hit不到最优点。两次参数的更新也有可能互相抵消掉，造成目标函数震荡的比较剧烈。

为了克服两种方法的缺点࿰