各种优化器对比:
标准梯度下降法:标准梯度下降先计算所有样本汇总误差,然后根据总误差来更新权值
随机梯度下降法:随机梯度下降随机抽取一个样本来计算误差,然后更新权值
批量梯度下降法:批量梯度下降法是一种折中的方案,从总样本中选取一个批次(比如一共有10000个样本,随机选取100个样本作为一个batch),然后计算这个batch的总误差,根据总误差来更新权值
各种优化器
最新推荐文章于 2024-06-19 19:16:28 发布
各种优化器对比:
标准梯度下降法:标准梯度下降先计算所有样本汇总误差,然后根据总误差来更新权值
随机梯度下降法:随机梯度下降随机抽取一个样本来计算误差,然后更新权值
批量梯度下降法:批量梯度下降法是一种折中的方案,从总样本中选取一个批次(比如一共有10000个样本,随机选取100个样本作为一个batch),然后计算这个batch的总误差,根据总误差来更新权值