「机器学习_10」Backpropagation 实例

                Multilayer perceptron计算--- backpropagation

The network should implement the XOR function.

yizhi已知：

一. 已知：

1.模型

2. 激活函数---- Sigmoid function

3.权重

4. earning rate 0.7

5. The bias nodes are set to -1（x0）

 

二. 计算

1. 计算隐藏层和output layer 的结果

因为其中没有给具体的input值，我们带着x1和x2就好了

这是每一个神经元的output的公式：

一定要注意，和没有隐藏层相比，也就是workshop6中的第二题。他们给的x和weight并且相加就可以得到output，也就是没有中间层的只计算一次，然后和真实结果相比，就可以决定是否更新权重了。但是如果有hidden layer，就需要多次计算.比如在该模型中，计算该节点，不光需要用到x1，还需要x0和x2。

注意，a1（1）和a1（2）的计算中x0是-1；

计算output layer的y值

 

2. 计算error of the network

 

 3. 使用backpropagate 更新权重

因为上面没有提到具体的input的值，现在我们假设使用（1，0）来train the model

那么第一题中没有神经元的结果都可计算，结果如下：

注意这里的𝜎(4)≅0.982 是如何得到的，因为上面有表示过使用的激活函数是Sigmoid function。

错误率为：

注意，为什么Y(XOR)是1.因为上面有提到该模型是实现XOR函数的。

下面来更新权重：首先计算每个神经元的𝛿。这里一共三个神经元，就计算三次。

然后计算∆𝜃

因为一共2个x值，3个神经元，所以一共是9个权重。依次计算出他们要更新的值，然后在去更新。使用的公式是：

 

更新𝜃

 

然后使用更新后的weight，再次进行forward计算

可以发现E从0.0086到0.007。然后再次反向传播，更新权重。

直到到达符合的E为止。

详细过程在pdf文件中。下面依次列举接下来计算几次的过程：