本章将利用numpy搭建一个单隐层的神经网络,选择2个输入单元,4个隐藏单元和2个输出单元。
神经网络的搭建由以下六个步骤完成:
1、定义神经网络结构
2、初始化模型参数(w和b)
3、前向传播算法结构设计
4、损失函数定义
5、反向传播算法结构设计
6、权值迭代与更新算法结构设计
7、封装代码,整合模型便于直接调用
在进行神经网络的构建之前,首先需要定义神经网络的结构
网络结构的定义
伪代码
def 结构函数(样本集,标签集)
定义输入层神经元个数
定义隐层神经元个数(这里我们简单设置单元数为4)
定义输出层神经元个数
return (输入层神经元个数,隐层神经元个数,输出层神经元个数)
程序实现
def layer_sizes(X, Y):
n_x = X.shape[0]
n_h = 4
n_y = Y.shape[0]
return (n_x, n_h, n_y)
接着,需要初始化我们的模型参数
【回顾】
权值w:连接层与层之间各神经元间的权重
偏置单元b:隐层、输出层作为输出时加上的偏值
初始化模型参数
伪代码如下:
def 初始化模型参数(输入层神经元个数,隐层神经元个数,输出层神经元个数)
权值1 = <输入层单元→隐层>间的权值参数(用于计算w*x)
偏值1 = <隐层偏置单元>加上的偏值(b,用于计算w*x + b)
权值2 = <隐层→输出层>间的权值参数(用于计算w*hid_x)
偏值2 = <输出层偏置单元>加上的偏值(b2, 用于计算w*hid_x + b)
将初始化的参数放入数据字典pararameters{}
return parameters
程序实现
def initialize_parameters(n_x, n_h, n_y):
#这里之所以n_h在前,n_x在后,因为w是根据隐层单元个数决定了行数,列数由输入层单元决定
#这里在w的初始化中用到了random随机数生成方法
#在b的初始化中用到了zeros方法
W1 = np.random.randn(n_h, n_x)*0.01
b1 = np.zeros((n_h, 1))
W2 = np.random.randn(n_y, n_h)*0.01
b2 = np.zeros((n_y, 1))
assert (W1.shape == (n_h, n_x))
assert (b1.shape == (n_h, 1))
assert (W2.shape == (n_y, n_h))
assert (b2.shape == (n_y, 1))
parameters = {"W1": W1,
"b1": b1,
"W2": W2,
"b2": b2}
return parameters
以上就是前期的准备工作,当准备工作完成后,就可以开始神经网络算法核心部分——前向传播,损失计算与反向传播的构建了
前向传播函数构建
【回顾】
隐层原始数据:接收输入层的数据X,对其作加权w1处理,并加上偏值b1
隐层激活函数:选择tanh双曲正切函数
隐层输出数据:Z1 = tanh(隐层原始数据)
输出层原始数据:接收隐层传出的数据Z1,对其作加权w2处理,并加上偏值b2
输出层激活函数:Sigmoid函数(可调用numpy的,也可使用自定义的)
输出层预测结果:Z2 = sigmoid(输出层原始数据)
伪代码如下:
def 前向传播算法(样本集X,初始化的字典parameters{})
输入→隐层权值W1 = 参数字典["W1"]
隐层偏值b1 = 参数字典["b1"]
隐层→输出层权值W2 = 参数字典["W2"]
输出层偏值b2 = 参数字典["b2"]
隐层原始数据Z1 = W1 * X + b1
隐层输出数据A1 = tanh(Z1)
输出层原始数据Z2 = W2 * A1 + b2
输出层预测结果A2 = sigmoid(Z1)
将计算后的Z1, A1, Z2, A2保存到数据字典cache里
return cache
程序清单
def forward_propagation(X, parameters):
# Retrieve each parameter from the dictionary "parameters"
W1 = parameters['W1']
b1 = parameters['b1']
W2 = parameters['W2']
b2 = parameters['b2']
# Implement Forward Propagation to calculate A2 (probabilities)
Z1 = np.dot(W1, X) + b1
A1 = np.tanh(Z1)
Z2 = np.dot(W2, Z1) + b2
A2 = sigmoid(Z2)
assert(A2.shape == (1, X.shape[1]))
cache = {"Z1": Z1,
"A1": A1,