聊聊个人对BP算法的理解
百度百科说BP算法是由学习过程由信号的正向传播与误差的反向传播两个过程组成。而信号的正向传播与网络结构的选取密切相关:如MLP,CNN,AE;误差则由Loss函数来定义,例如有softamx cross entropy loss、Categorical Crossentropy等等;而反向传播减小误差则依赖于优化算法,常见:梯度下降、SGD、Adam…
以上是我个人对BP的理解,欢迎探讨
百度百科说BP算法是由学习过程由信号的正向传播与误差的反向传播两个过程组成。而信号的正向传播与网络结构的选取密切相关:如MLP,CNN,AE;误差则由Loss函数来定义,例如有softamx cross entropy loss、Categorical Crossentropy等等;而反向传播减小误差则依赖于优化算法,常见:梯度下降、SGD、Adam…
以上是我个人对BP的理解,欢迎探讨