上一章我们讨论了求输出层激励的梯度和输出层预激励的梯度的方法,可以发现,求解过程极其复杂,本章将从链式法则入手,推导出各隐层的参数梯度的一般形式。
一、链式法则
回顾高数的知识,若一个函数可写成若干个中间结果,即 p(a)=p(q1(a),...qi(a),...,qn(a)) ,则
上一章我们讨论了求输出层激励的梯度和输出层预激励的梯度的方法,可以发现,求解过程极其复杂,本章将从链式法则入手,推导出各隐层的参数梯度的一般形式。
回顾高数的知识,若一个函数可写成若干个中间结果,即 p(a)=p(q1(a),...qi(a),...,qn(a)) ,则