a251844314的博客

1、训练集/验证集/测试集训练集：用于训练模型。验证集（简单交叉验证集 cross validation set/development set/dev set）：用于评估多种算法模型的性能，尽可能优化算法测试集（test set）：评估模型准确率验证集和测试集和可以合在一起，当我们不做无偏差估计的时候。2、偏差、方差偏差（bias）：训练集准确率。模型在训练集表现越好，预

1、mini batch梯度下降传统的batch梯度下降是把所有样本向量化成一个矩阵，每一次iteration遍历所有样本，进行一次参数更新，这样做每一次迭代的计算量大，要计算所有样本，速度慢，但是收敛可以比较直接地收敛到cost function的最小值。 随机梯度下降（stochastic gradient descent）是每次迭代以一个样本为输入，这种方法每次迭代更新参数时，参数不一定是朝

1、mini batch梯度下降传统的batch梯度下降是把所有样本向量化成一个矩阵，每一次iteration遍历所有样本，进行一次参数更新，这样做每一次迭代的计算量大，要计算所有样本，速度慢，但是收敛可以比较直接地收敛到cost function的最小值。随机梯度下降（stochastic gradient descent）是每次迭代以一个样本为输入，这种方法每次迭代更新参数时，参数不一