4.5 学习算法的实现

神经网络的学习分成下面4个步骤:

  1. mini-batch
    从训练数据中随机选出一部分数据,这部分数据称为mini-batch。目标是减小mini-batch的损失函数的值。
  2. 计算梯度
    求损失函数关于各个权重参数的梯度。
  3. 更新参数
    将权重参数沿梯度方向进行微小更新。
  4. 重复
    重复步骤1、2、3
    由于数据是随机选择的minibatch,所以这里的梯度下降法又称为“随机梯度下降法”(stochastic gradient descent),很多深度学习的框架中,随机梯度下降法一般由一个名为SGD(首字母缩写)的函数来实现。

epoch:是一个单位,代表学习中所有训练数据都被使用过一次时的更新次数。

展开阅读全文
©️2020 CSDN 皮肤主题: 游动-白 设计师: 上身试试 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值