BP算法理解

例1（简单）

1.首先根据给定的函数  f = ( x + y ) z  和输入数据  x =   y =   z =  ，计算每一步的结果，图中绿色表示。

2.从结果开始从右到左计算导数（梯度）。当然从左到右将计算的看做一个整体。即q = x + y ,f = qz。当然上图中q的导数是z = -4,z的导数是q = 3,以此类推x和y。

例2（复杂）

1.从从左到右计算（绿色）

 

2.列出了用到的导数，一定要注意每个节点要将上一个的计算看成整体。

3.因为分f(w,x)—>L结果则导数为1.

4.把看成 f ( w , x ) = 1 / x 。计算方式为    = 将该前节点的结果带入导数式 *  前一个导数   .

5.

6.

7.

8.

9.

例3（矩阵）