三层神经网络python_简单的三层神经网络

参照《Python神经网络编程》写一个简单的三层神经网络

#!/usr/bin/env python

# coding: utf-8

import numpy

# sigmoid  函数

import scipy.special

'''

简单的三层全连接网络，包括一个输入层，一个隐层和一个输出层

损失函数用sigmoid

'''

class neuralNetwork:

# 初始化方法

def __init__(self, inputnodes, hiddennodes, outputnodes, learningrate):

# set number of nodes in each input, hidden, output layer

#输入层节点数

self.inodes = inputnodes

#隐层节点数

self.hnodes = hiddennodes

#输出层节点数

self.onodes = outputnodes

#输入层和隐层的权重

self.wih = numpy.random.normal(0.0, pow(self.inodes, -0.5), (self.hnodes, self.inodes))

#隐层和输出层的权重

self.who = numpy.random.normal(0.0, pow(self.hnodes, -0.5), (self.onodes, self.hnodes))

# 学习率

self.lr = learningrate

# 损失函数用sigmoid

self.activation_function = lambda x: scipy.special.expit(x)

pass

# 前馈网络

def feedforward(self, inputs_list):

inputs = numpy.array(inputs_list, ndmin=2).T

# 点乘计算-输入层到隐层的权重 点乘 输入层输入 等于隐层输入

hidden_inputs = numpy.dot(self.wih, inputs)

#在隐层应用损失函数

hidden_outputs = self.activation_function(hidden_inputs)

# 点乘计算-隐层到输出层的权重 点乘 隐层输入 等于隐层输出

final_inputs = numpy.dot(self.who, hidden_outputs)

#在输出层应用损失函数

final_outputs = self.activation_function(final_inputs)

return hidden_outputs,final_outputs

# In[ ]:

# 训练神经网络

def train(self, inputs_list, targets_list):

#先正向进行前馈网络

hidden_outputs,final_outputs = self.feedforward(self, inputs_list)

inputs = numpy.array(inputs_list, ndmin=2).T

targets = numpy.array(targets_list, ndmin=2).T

#计算最终误差(目标值-实际值)

output_errors = targets - final_outputs

#更新隐层和输出层的权重

self.who += self.lr * numpy.dot((output_errors * final_outputs * (1.0 - final_outputs)), numpy.transpose(hidden_outputs))

# 隐藏层误差 = 输出层误差点乘 隐层到输出层的权重

hidden_errors = numpy.dot(self.who.T, output_errors)

#更新输入层和隐层间的权重

self.wih += self.lr * numpy.dot((hidden_errors * hidden_outputs * (1.0 - hidden_outputs)), numpy.transpose(inputs))

pass

# 预测方法，预测方法很简单，直接进行前馈网络

def fit(self, inputs_list):

hidden_outputs,final_outputs = self.feedforward(inputs_list)

return final_outputs

#测试方法

input_nodes = 3

hidden_nodes = 3

output_nodes = 3

learning_rate = 0.3

n = neuralNetwork(input_nodes, hidden_nodes, output_nodes, learning_rate)

inputs_list = [1.0, 0.5, -1.5]

final_outputs = n.fit(inputs_list)

print(final_outputs)