python实现简单神经网络算法

版权声明：本文为博主原创文章，未经博主允许不得转载。

python实现简单神经网络算法

python实现二层神经网络

包括输入层和输出层

[python] view plain copy

print ?

1. import numpy as np  
2.   
3. #sigmoid function  
4. def nonlin(x, deriv = False):  
5.     if(deriv == True):  
6.         return x*(1-x)  
7.     return 1/(1+np.exp(-x))  
8.   
9. #input dataset  
10. x = np.array([[0,0,1],  
11.              [0,1,1],  
12.              [1,0,1],  
13.              [1,1,1]])  
14.   
15. #output dataset  
16. y = np.array([[0,0,1,1]]).T  
17.   
18. np.random.seed(1)  
19.   
20. #init weight value  
21. syn0 = 2*np.random.random((3,1))-1  
22.   
23. for iter in xrange(100000):  
24.     l0 = x                         #the first layer,and the input layer   
25.     l1 = nonlin(np.dot(l0,syn0))   #the second layer,and the output layer  
26.   
27.   
28.     l1_error = y-l1  
29.   
30.     l1_delta = l1_error*nonlin(l1,True)  
31.   
32.     syn0 += np.dot(l0.T, l1_delta)  
33. print "outout after Training:"  
34. print l1  

import numpy as np

#sigmoid function
def nonlin(x, deriv = False):
    if(deriv == True):
        return x*(1-x)
    return 1/(1+np.exp(-x))

#input dataset
x = np.array([[0,0,1],
             [0,1,1],
             [1,0,1],
             [1,1,1]])

#output dataset
y = np.array([[0,0,1,1]]).T

np.random.seed(1)

#init weight value
syn0 = 2*np.random.random((3,1))-1

for iter in xrange(100000):
    l0 = x                         #the first layer,and the input layer 
    l1 = nonlin(np.dot(l0,syn0))   #the second layer,and the output layer


    l1_error = y-l1

    l1_delta = l1_error*nonlin(l1,True)

    syn0 += np.dot(l0.T, l1_delta)
print "outout after Training:"
print l1

这里，

l0:输入层

l1:输出层

syn0:初始权值

l1_error:误差

l1_delta:误差校正系数

func nonlin:sigmoid函数

这里迭代次数为100时，预测结果为

迭代次数为1000时，预测结果为：

迭代次数为10000，预测结果为：

迭代次数为100000，预测结果为：

可见迭代次数越多，预测结果越接近理想值，当时耗时也越长。

python实现三层神经网络

包括输入层、隐含层和输出层

[python] view plain copy

print ?

1. import numpy as np  
2.   
3. def nonlin(x, deriv = False):  
4.     if(deriv == True):  
5.         return x*(1-x)  
6.     else:  
7.         return 1/(1+np.exp(-x))  
8.   
9. #input dataset  
10. X = np.array([[0,0,1],  
11.              [0,1,1],  
12.              [1,0,1],  
13.              [1,1,1]])  
14.   
15. #output dataset  
16. y = np.array([[0,1,1,0]]).T  
17.   
18. syn0 = 2*np.random.random((3,4)) - 1 #the first-hidden layer weight value  
19. syn1 = 2*np.random.random((4,1)) - 1 #the hidden-output layer weight value  
20.   
21. for j in range(60000):  
22.     l0 = X                        #the first layer,and the input layer   
23.     l1 = nonlin(np.dot(l0,syn0))  #the second layer,and the hidden layer  
24.     l2 = nonlin(np.dot(l1,syn1))  #the third layer,and the output layer  
25.   
26.   
27.     l2_error = y-l2       #the hidden-output layer error  
28.   
29.     if(j%10000) == 0:  
30.         print "Error:"+str(np.mean(l2_error))  
31.   
32.     l2_delta = l2_error*nonlin(l2,deriv = True)  
33.   
34.     l1_error = l2_delta.dot(syn1.T)     #the first-hidden layer error  
35.   
36.     l1_delta = l1_error*nonlin(l1,deriv = True)  
37.   
38.     syn1 += l1.T.dot(l2_delta)  
39.     syn0 += l0.T.dot(l1_delta)  
40. print "outout after Training:"  
41. print l2  

import numpy as np

def nonlin(x, deriv = False):
    if(deriv == True):
        return x*(1-x)
    else:
        return 1/(1+np.exp(-x))

#input dataset
X = np.array([[0,0,1],
             [0,1,1],
             [1,0,1],
             [1,1,1]])

#output dataset
y = np.array([[0,1,1,0]]).T

syn0 = 2*np.random.random((3,4)) - 1 #the first-hidden layer weight value
syn1 = 2*np.random.random((4,1)) - 1 #the hidden-output layer weight value

for j in range(60000):
    l0 = X                        #the first layer,and the input layer 
    l1 = nonlin(np.dot(l0,syn0))  #the second layer,and the hidden layer
    l2 = nonlin(np.dot(l1,syn1))  #the third layer,and the output layer


    l2_error = y-l2       #the hidden-output layer error

    if(j%10000) == 0:
        print "Error:"+str(np.mean(l2_error))

    l2_delta = l2_error*nonlin(l2,deriv = True)

    l1_error = l2_delta.dot(syn1.T)     #the first-hidden layer error

    l1_delta = l1_error*nonlin(l1,deriv = True)

    syn1 += l1.T.dot(l2_delta)
    syn0 += l0.T.dot(l1_delta)
print "outout after Training:"
print l2