神经网络设计－02.三层神经网络

本系列文章，我将用Python语言、numpy工具演示神经网络的一些经典实现例子。希望能帮助对人工智能有兴趣的朋友。

本节数据

输入			输出
0	0	1	0
0	1	1	1
1	0	1	1
1	1	1	0

如果仍用上述的代码(2层的神经网络)测试本节课的样本数据，则其结果为：

可以看到误差非常大，这是因为数据并不是线性可分的，因此它是一个非线性的问题，神经网络的强大之处就是其可以搭建更多的层来对非线性的问题进行处理。

下面我将搭建一个含有5个神经元的隐含层，其图形如下(网上下载的)，其实很简单，只要你把层次的结果想清楚。

要搞清楚w的维度：第一层到第二层的w为3*5，第二层到第三层的W为5*1，因此还是同样的两个步骤，前向计算误差，然后反向求导更新w。

---

源代码

 

import numpy as np
def nonlin(x,deriv=False):
    if(deriv==True):
        return x*(1-x)
    return 1/(1+np.exp(-x))
  
#=======================  
X = np.array([[0,0,1],
[0,1,1],
[1,0,1],
[1,1,1]])
    
y = np.array([[0],
[1],
[1],
[0]])
    
np.random.seed(1)
      
syn0 = 2*np.random.random((3,5)) - 1
syn1 = 2*np.random.random((5,1)) - 1
    
for j in xrange(60000):
    # 从最后一层网络算起
    l0 = X
    l1 = nonlin(np.dot(l0,syn0))
    l2 = nonlin(np.dot(l1,syn1))
        
    l2_error = y - l2
        
    if (j% 10000) == 0:
        print "Error:" + str(np.mean(np.abs(l2_error)))
        
    l2_delta = l2_error*nonlin(l2,deriv=True)
    
    l1_error = l2_delta.dot(syn1.T)
    
    l1_delta = l1_error * nonlin(l1,deriv=True)
    syn1 += l1.T.dot(l2_delta)
    syn0 += l0.T.dot(l1_delta)
print l2

---

运行结果

如果上面的代码看懂了，那么你就可以自己搭建自己的神经网络了，无论他是多少层，或者每个层有多少个神经元，都能很轻松的完成。当然上面搭建的神经网络只是一个很简单的网络，同样还有许多的细节需要学习，比如说反向传回来的误差我们可以用随机梯度下降的方法去更新W，同时还可以加上偏置项b，还有学习率 α 等问题。