mini-batch SGD 和 backprop

mini-batch SGD 是先将train_data顺序打乱，每次取mini-batch个训练数据进行一次梯度下降与反向传播。取完整个训练集称为一个epoch

在⼀个⼩批量数据上的反向传播的全矩阵⽅法 我们对于随机梯度下降的实现是对⼀ 个⼩批量数据中的训练样本进⾏遍历。所以也可以更改反向传播算法使得它同时对 ⼀个⼩批量数据中的所有样本进⾏梯度计算。这个想法其实就是我们可以⽤⼀个矩阵 X = [x1,x2,…,xm]，其中每列就是在⼩批量数据中的向量，⽽不是单个的输⼊向量x。 我们通过乘权重矩阵，加上对应的偏置进⾏前向传播，在所有地⽅应⽤S型函数。然后按 照类似的过程进⾏反向传播。这样做的好处其实利⽤到了现代的线性代数库。所以，这会⽐在⼩批量数据上进 ⾏遍历要运⾏得更快。在实际应⽤中，所有靠谱的反向传播的库都是⽤了类似的 基于矩阵或者其变化形式来实现的。