梅科尔工作室——BP网络

BP神经网络

简介

BP(Back Propagation)神经网络的学习过程由信号的正向传播与误差的反向传播两个过程组成。

主要算法流程为

---

一、正向传播

正向传播主要包括：信号的前向输出（forward）

---

---

二、误差的反向传播

---

三、权重的更新

• 1.公式

  • 

• 2.采用分批次样本求解的原因

  • 实际应用中算计往往不够，内存也不足
  • 指向当前批次（batch）最优解

• 3.优化器optimazer

  • SGD优化器

    • 公式：
    • α为学习率，g（w_t）是t时刻对参数w的损失梯度
    • 缺点：
      • 1、容易收到噪声的干扰，梯度方向变向
      • 2、可能陷入局部最优解,如图红线部分陷入鞍

  • SGD+Momentum 优化器

    • 公式：
      
      

    • 考虑到上一个参数的变化，有效抑制噪声的干扰

  • Adagrad 优化器（自适应学习率）

    • 公式
    • S_t 是对损失梯度的平方，公式的分母在训练的过程中越来越大,于是学习率越来越小
    • 缺点：可能模型还未收敛训练就停止了

  • RMSprop 优化器（自适应学习率）

    • 通过添加参数控制速度
      

  • Adam优化器（自适应学习率）

    • 公式：
      

在这里插入代码片