BP神经网络的简单实现

很久之前就看到了一片国外的博文，大神用了11行python1代码就实现了一个最简单的神经网络。他的最精简的代码如下：

X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ])
y = np.array([[0,1,1,0]]).T
syn0 = 2*np.random.random((3,4)) - 1
syn1 = 2*np.random.random((4,1)) - 1
for j in xrange(60000):
    l1 = 1/(1+np.exp(-(np.dot(X,syn0))))
    l2 = 1/(1+np.exp(-(np.dot(l1,syn1))))
    l2_delta = (y - l2)*(l2*(1-l2))
    l1_delta = l2_delta.dot(syn1.T) * (l1 * (1-l1))
    syn1 += l1.T.dot(l2_delta)
    syn0 += X.T.dot(l1_delta)

最近复习了一下有关于BP的理论知识，决定仿照大神的思路自己写一个简单的神经网络。其实神经网络的代码实现并不是特别困难，难就难在原理的推导上，实际原理到代码落地，这一步并不是很大的障碍。因此，也就会有11行搞定神经网络的代码了。

不过这个11行的代码确实有些精练了，因此我有扩充了一下，可以满足不同维度数据的需要，而且加入了阈值更新和多层网络，使之成为原汁原味的BP神经网络，看起来更加完善。

代码如下：

#encoding=utf-8
import numpy as np
import copy