在做毕设的时候,忙里偷闲,结合之前文章中的神经网络的入门推导,用python实现了三层神经网络,本次的代码构建了一个神经网络的类。
import scipy.special
class network:
def __init__(self,input_nodes,hidden_nodes,output_nodes,learn):
self.inodes=input_nodes
self.hnodes=hidden_nodes
self.onodes=output_nodes
self.lr=learn
self.w_ih=(numpy.random.normal(0.0,pow(self.hnodes,-0.5),(self.hnodes,self.inodes)))
self.w_ho=(numpy.random.normal(0.0,pow(self.onodes,-0.5),(self.onodes,self.hnodes)))
def sigmod_function(self,x):
return scipy.special.expit(x)
def query(self,input_list):
input=numpy.array(input_list,ndmin=2).T
hidden_input=numpy.dot(self.w_ih,input)
hidden_out=self.sigmod_function(hidden_input)
outre_input=numpy.dot(self.w_ho,hidden_out)
outre_output=self.sigmod_function(outre_input)
return outre_output
def train(self,input_list,output_list):
input=numpy.array(input_list,ndmin=2).T
target=numpy.array(output_list,ndmin=2).T
hidden_input=numpy.dot(self.w_ih,input)
hidden_out=self.sigmod_function(hidden_input)
outre_input=numpy.dot(self.w_ho,hidden_out)
outre_output=self.sigmod_function(outre_input)
output_errors=target-outre_output
hidden_errors=numpy.dot(self.w_ho.T,output_errors)
self.w_ho+=self.lr*numpy.dot(output_errors*outre_output*(1-outre_output),hidden_out.T)
self.w_ih+=self.lr*numpy.dot(hidden_errors*hidden_out*(1-hidden_out),input.T)
input_nodes=3
output_nodes=3
hidden_nodes=4
learn=0.2
n=network(input_nodes,hidden_nodes,output_nodes,learn)
以下是第一次写时,所写的错误代码,觉得有必要记录一下。
import scipy.special
class network:
def __init__(self,input_list,output_list,input_nodes,hidden_nodes,output_nodes,learn):
self.begin_list=numpy.array(input_list,ndmin=2).T
self.target_list=numpy.array(output_list,ndmin=2).T
self.inodes=input_nodes
self.hnodes=hidden_nodes
self.onodes=output_nodes
self.lr=learn
self.w_ih=(numpy.random.normal(0.0,pow(self.hnodes,-0.5),(self.hnodes,self.inodes)))
self.w_ho=(numpy.random.normal(0.0,pow(self.onodes,-0.5),(self.onodes,self.hnodes)))
def sigmod_function(self,x):
return scipy.special.expit(x)
def query(self):
hidden_input=numpy.dot(self.w_ih,begin_list)
hidden_out=self.sigmod_function(hidden_input)
outre_input=numpy.dot(self.w_ho,hidden_out)
outre_output=self.sigmod_function(outre_input)
return outre_output
def train(self):
hidden_input=numpy.dot(self.w_ih,begin_list)
hidden_out=self.sigmod_function(hidden_input)
outre_input=numpy.dot(self.w_ho,hidden_out)
outre_output=self.sigmod_function(outre_input)
output_errors=target_list-outre_output
hidden_errors=numpy.dot(self.w_ho.T,outre_output)
self.w_ho+=self.lr*numpy.dot(output_errors*outre_output*(1-outre_output),hidden_out.T)
self.w_ih+=self.lr*numpy.dot(hidden_errors*hidden_out*(1-hidden_out),begin_list.T)
input_nodes=3
output_nodes=3
hidden_nodes=4
learn=0.2
input_list=[0,0.5,1]
output_list=[0,0.7,1.2]
n=network(input_list,output_list,input_nodes,hidden_nodes,output_nodes,learn)
n.train()
注意该错误程序与正确程序之间的区别。错误程序是将输入序列和目标序列作为了形参,然后传入begin_list和target_list这两个属性。这种操作导致了我们每训练一次,就得创建一个新的对象n,但是这个n中的权值矩阵与上一次训练的n的权值矩阵是毫无干系的,也就是说我们用100组数据训练,实际上相当于训练了一次。故此程序代码是错误的。