【从零开始深度学习】——3、如何搭建一个单隐层神经网络

本章将利用numpy搭建一个单隐层的神经网络，选择2个输入单元，4个隐藏单元和2个输出单元。

神经网络的搭建由以下六个步骤完成：

1、定义神经网络结构
2、初始化模型参数（w和b）
3、前向传播算法结构设计
4、损失函数定义
5、反向传播算法结构设计
6、权值迭代与更新算法结构设计
7、封装代码，整合模型便于直接调用

---

在进行神经网络的构建之前，首先需要定义神经网络的结构

网络结构的定义

伪代码

def 结构函数（样本集，标签集）
	定义输入层神经元个数
	定义隐层神经元个数（这里我们简单设置单元数为4）
	定义输出层神经元个数
	return （输入层神经元个数，隐层神经元个数，输出层神经元个数）

程序实现

def layer_sizes(X, Y):
    n_x = X.shape[0]
    n_h = 4
    n_y = Y.shape[0]
    return (n_x, n_h, n_y)

---

接着，需要初始化我们的模型参数
【回顾】
权值w：连接层与层之间各神经元间的权重
偏置单元b：隐层、输出层作为输出时加上的偏值

初始化模型参数

伪代码如下：

def 初始化模型参数（输入层神经元个数，隐层神经元个数，输出层神经元个数）
	权值1 = <输入层单元→隐层>间的权值参数（用于计算w*x）
	偏值1 = <隐层偏置单元>加上的偏值(b，用于计算w*x + b)
	权值2 = <隐层→输出层>间的权值参数（用于计算w*hid_x）
	偏值2 = <输出层偏置单元>加上的偏值（b2, 用于计算w*hid_x + b）
	将初始化的参数放入数据字典pararameters{}
	return parameters

程序实现

def initialize_parameters(n_x, n_h, n_y):
	#这里之所以n_h在前，n_x在后，因为w是根据隐层单元个数决定了行数，列数由输入层单元决定
	#这里在w的初始化中用到了random随机数生成方法
	#在b的初始化中用到了zeros方法
    W1 = np.random.randn(n_h, n_x)*0.01
    b1 = np.zeros((n_h, 1))
    W2 = np.random.randn(n_y, n_h)*0.01
    b2 = np.zeros((n_y, 1)) 
   
    assert (W1.shape == (n_h, n_x))    
    assert (b1.shape == (n_h, 1))    
    assert (W2.shape == (n_y, n_h))    
    assert (b2.shape == (n_y, 1))

    parameters = {"W1": W1, 
                  "b1": b1,                 
                  "W2": W2,                  
                  "b2": b2}   
                   
    return parameters

---

以上就是前期的准备工作，当准备工作完成后，就可以开始神经网络算法核心部分——前向传播，损失计算与反向传播的构建了

---

前向传播函数构建

【回顾】
隐层原始数据：接收输入层的数据X，对其作加权w1处理，并加上偏值b1
隐层激活函数：选择tanh双曲正切函数
隐层输出数据：Z1 = tanh（隐层原始数据）

输出层原始数据：接收隐层传出的数据Z1，对其作加权w2处理，并加上偏值b2
输出层激活函数：Sigmoid函数（可调用numpy的，也可使用自定义的）
输出层预测结果：Z2 = sigmoid（输出层原始数据）

伪代码如下：

def 前向传播算法（样本集X，初始化的字典parameters{}）
	输入→隐层权值W1 = 参数字典["W1"]
	隐层偏值b1 = 参数字典["b1"]
	隐层→输出层权值W2 = 参数字典["W2"]
	输出层偏值b2 = 参数字典["b2"]

	隐层原始数据Z1 = W1 * X + b1
	隐层输出数据A1 = tanh(Z1)

	输出层原始数据Z2 = W2 * A1 + b2
	输出层预测结果A2 = sigmoid（Z1）
	
	将计算后的Z1, A1, Z2, A2保存到数据字典cache里
	return cache

程序清单

def forward_propagation(X, parameters):
    # Retrieve each parameter from the dictionary "parameters"
    W1 = parameters['W1']
    b1 = parameters['b1']
    W2 = parameters['W2']
    b2 = parameters['b2']    
    # Implement Forward Propagation to calculate A2 (probabilities)
    Z1 = np.dot(W1, X) + b1
    A1 = np.tanh(Z1)
    Z2 = np.dot(W2, Z1) + b2
    A2 = sigmoid(Z2)    
    assert(A2.shape == (1, X.shape[1]))


    cache = {"Z1": Z1,                   
             "A1": A1,                   
             "Z2