自己重新整理了一下反向传播算法及softmax算法的推导。
(1)针对通常的反向传播算法,Loss采用差值的绝对值平方和,非线性函数采用sigmoid函数
(2)softmax算法推导是指,采用softmax对输出数据处理,并采用交叉熵作为Loss函数。
两个算法的推导过程都是通过从单一元素出发,扩展到向量的形式。
反向传播算法更详细的推导可参考博客:https://zhuanlan.zhihu.com/p/25416673
两个算法的推导如下两个图所示。
自己重新整理了一下反向传播算法及softmax算法的推导。
(1)针对通常的反向传播算法,Loss采用差值的绝对值平方和,非线性函数采用sigmoid函数
(2)softmax算法推导是指,采用softmax对输出数据处理,并采用交叉熵作为Loss函数。
两个算法的推导过程都是通过从单一元素出发,扩展到向量的形式。
反向传播算法更详细的推导可参考博客:https://zhuanlan.zhihu.com/p/25416673
两个算法的推导如下两个图所示。