深度学习调参（梯度校验）

【吴恩达课后编程作业】Course 2 - 改善深层神经网络 - 第一周作业（梯度校验)
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

梯度校验 ：对模型使用梯度校验，检测它是否在梯度下降的过程中出现误差过大的情况。

一、梯度校验在训练模型的作用？

梯度校验 ：对模型使用梯度校验，检测它是否在梯度下降的过程中出现误差过大的情况。

二、使用步骤

1.引入库

代码如下（示例）：

#encoding=utf8
import numpy as np
import matplotlib.pyplot as plt
import sklearn
import sklearn.datasets
import init_utils #第一部分，初始化
import reg_utils #第二部分，正则化
import gc_utils #第三部分，梯度校验
#%matplotlib inlin #如果你使用的是Jupyter Notebook ,  请取消注释

2.读入数据

代码如下（示例）：

train_X, train_Y, test_X, test_Y = reg_utils.load_2D_dataset(is_plot=True)

3.main.py文件依赖的库文件

使用详情请参考何宽的博客：添加链接描述
这里将项目文件都上传到百度云，请各位自行下载：
链接：https://pan.baidu.com/s/1XNoFa5d7TXhgDjx_wEnzWg
提取码：9aoy

4.运行模型的训练文件main.py

代码如下（示例）：

#encoding=utf8
import numpy as np
import matplotlib.pyplot as plt
import sklearn
import sklearn.datasets
import init_utils #第一部分，初始化
import reg_utils #第二部分，正则化
import gc_utils #第三部分，梯度校验
#%matplotlib inlin #如果你使用的是Jupyter Notebook ,  请取消注释
plt.rcParams['figure.figsize'] = (7.0 ,4.0)#set default size of plots
plt.rcParams['image.interpolation'] = 'nearest'
plt.rcParams['image.cmap'] = 'gray'
#这上面三行代码是为了设置绘制结果图片的风格
train_X, train_Y, test_X, test_Y = reg_utils.load_2D_dataset(is_plot=True)

#train_X, train_Y, test_X, test_Y = init_utils.load_dataset(is_plot=True)


def initialize_parameters_zeros(layers_dims):
 """
 将模型的参数全部设置为0

 参数：
     layers_dims - 列表，模型的层数和对应每一层的节点的数量
 返回
     parameters - 包含了所有W和b的字典
         W1 - 权重矩阵，维度为（layers_dims[1], layers_dims[0]）
         b1 - 偏置向量，维度为（layers_dims[1],1）
         ···
         WL - 权重矩阵，维度为（layers_dims[L], layers_dims[L -1]）
         bL - 偏置向量，维度为（layers_dims[L],1）
 """
 parameters = {}

 L = len(layers_dims) #网络层数

 for l in range(1,L):
  parameters["W" + str(l)] = np.zeros((layers_dims[l],layers_dims[l-1]))
  parameters["b" + str(l)] = np.zeros((layers_dims[l],1))

  #使用断言确保我的数据格式是正确的
  assert(parameters["W" + str(l)].shape == (layers_dims[l],layers_dims[l-1]))
  assert(parameters["b" + str(l)].shape == (layers_dims[l],1))

 return parameters
"""
parameters = initialize_parameters_zeros([3,2,1])
print("W1 = " + str(parameters["W1"]))
print("b1 = " + str(parameters["b1"]))
print("W2 = " + str(parameters["W2"]))
print("b2 = " + str(parameters["b2"]))
"""
'''
parameters = model(train_X, train_Y, initialization = "zeros",is_plot=True)



print ("训练集:")
predictions_train = init_utils.predict(train_X, train_Y, parameters)
print ("测试集:")
predictions_test = init_utils.predict(test_X, test_Y, parameters)

print("predictions_train = " + str(predictions_train))
print("predictions_test = " + str(predictions_test))

plt.title("Model with Zeros initialization")
axes = plt.gca()
axes.set_xlim([-1.5, 1.5])
axes.set_ylim([-1.5, 1.5])

#在下面这个函数里面就报错，周四晚上认真看本项目中plot_decision_boundary的实现（看完之后就直接看随机初始化的代码）
init_utils.plot_decision_boundary(lambda x: init_utils.predict_dec(parameters, x.T), train_X, train_Y)
'''
#def initialize_parameters_random(layers_dims):
 #"""
 #参数：
 #layers_dims - 列表，模型的层数和对应每一层的节点的数量
 #返回
   #W1 - 权重矩阵，维度为（layers_dims[1], layers_dims[0]）
            #b1 - 偏置向量，维度为（layers_dims[1],1）
            #···
            #WL - 权重矩阵，维度为（layers_dims[L], layers_dims[L -1]）
            #b1 - 偏置向量，维度为（layers_dims[L],1）
 #"""
 #np.random.seed(3) #指定随机种子
 #parameters = {}
 #L =len(layers_dims) #层数
 
 #for l in range(1 ,L):
  
  #parameters["W" + str(l)] = np.random(layers_dims[l] ,layers_dims[l-1])*10
  #parameters["b" + str(l)] = np.zeros((layers_dims[1] ,1))
  
  ##使用断言确保我们的数据格式是正确的
  #assert(parameters["W" + str(l)].shape == (layers_dims[l],layers_dims[l-1]))
  #assert(parameters["b" + str(l)].shape == (layers_dims[l] ,1))
  
 #return parameters
 
 
def initialize_parameters_random(layers_dims):
 """
 参数：
     layers_dims - 列表，模型的层数和对应每一层的节点的数量
 返回
     parameters - 包含了所有W和b的字典
         W1 - 权重矩阵，维度为（layers_dims[1], layers_dims[0]）
         b1 - 偏置向量，维度为（layers_dims[1],1）
         ···
         WL - 权重矩阵，维度为（layers_dims[L], layers_dims[L -1]）
         b1 - 偏置向量，维度为（layers_dims[L],1）
 """

 np.random.seed(3)               # 指定随机种子
 parameters = {}
 L = len(layers_dims)            # 层数

 for l in range(1, L):
  parameters['W' + str(l)] = np.random.randn(layers_dims[l], layers_dims[l - 1]) * 10 #使用10倍缩放
  parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))

  #使用断言确保我的数据格式是正确的
  assert(parameters["W" + str(l)].shape == (layers_dims[l],layers_dims[l-1]))
  #(layers_dims[l],layers_dims[l-1]):表示该层和上一层隐含层的节点数
  
  
  assert(parameters["b" + str(l)].shape == (layers_dims[l],1))

 return parameters
"""
parameters = initialize_parameters_random([3, 2, 1])
print("W1 = " + str(parameters["W1"]))
print("b1 = " + str(parameters["b1"]))
print("W2 = " + str(parameters["W2"]))
print("b2 = " + str(parameters["b2"]))
"""
"""
parameters = model(train_X ,train_Y ,initialization= "random" ,is_plot=True)
print("训练集：")
predictions_train = init_utils.predict(train_X ,train_Y ,parameters)
print("测试集：")
prediction_test = init_utils.predict(test_X ,test_Y ,parameters)

print(predictions_train)
print(prediction_test)
 """

def initialize_parameters_he(layers_dims):
 """
 参数：
     layers_dims - 列表，模型的层数和对应每一层的节点的数量
 返回
     parameters - 包含了所有W和b的字典
         W1 - 权重矩阵，维度为（layers_dims[1], layers_dims[0]）
         b1 - 偏置向量，维度为（layers_dims[1],1）
         ···
         WL - 权重矩阵，维度为（layers_dims[L], layers_dims[L -1]）
         b1 - 偏置向量，维度为（layers_dims[L],1）
 """

 np.random.seed(3)               # 指定随机种子
 parameters = {}
 L = len(layers_dims)            # 层数

 for l in range(1, L):
  parameters['W' + str(l)] = np.random.randn(layers_dims[l], layers_dims[l - 1]) * np.sqrt(2 / layers_dims[l -1]) #使用10倍缩放
  parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))

  #使用断言确保我的数据格式是正确的
  assert(parameters["W" + str(l)].shape == (layers_dims[l],layers_dims[l-1]))
  #(layers_dims[l],layers_dims[l-1]):表示该层和上一层隐含层的节点数
  
  
  assert(parameters["b" + str(l)].shape == (layers_dims[l],1))

 return parameters
"""
parameters = initialize_parameters_he([2, 4, 1])
print("W1 = " + str(parameters["W1"]))
print("b1 = " + str(parameters["b1"]))
print("W2 = " + str(parameters["W2"]))
print("b2 = " + str(parameters["b2"]))
parameters = model(train_X, train_Y, initialization = "he",is_plot=True)
print("训练集:")
predictions_train = init_utils.predict(train_X, train_Y, parameters)
print("测试集:")
init_utils.predictions_test = init_utils.predict(test_X, test_Y, parameters)
"""
"""
初始化的模型将蓝色和红色的点在少量的迭代中很好地分离出来，总结一下：

不同的初始化方法可能导致性能最终不同

随机初始化有助于打破对称，使得不同隐藏层的单元可以学习到不同的参数。

初始化时，初始值不宜过大。

He初始化搭配ReLU激活函数常常可以得到不错的效果。

  在深度学习中，如果数据集没有足够大的话，可能会导致一些过拟合的问题。过拟合导致的结果就是在训练集上有着很高的精确度，但是在遇到新的样本时，精确度下降会很严重。为了避免过拟合的问题，接下来我们要讲解的方式就是正则化。
"""
def forward_propagation_with_dropout(X ,parameters ,keep_prob=0.5):
 
 """
 实现具有随机舍弃节点的前向传播。
 LINEAR -> RELU + DROPOUT -> LINEAR -> RELU + DROPOUT -> LINEAR -> SIGMOID.
 
 参数：
     X  - 输入数据集，维度为（2，示例数）
     parameters - 包含参数“W1”，“b1”，“W2”，“b2”，“W3”，“b3”的python字典：
         W1  - 权重矩阵，维度为（20,2）
         b1  - 偏向量，维度为（20,1）
         W2  - 权重矩阵，维度为（3,20）
         b2  - 偏向量，维度为（3,1）
         W3  - 权重矩阵，维度为（1,3）
         b3  - 偏向量，维度为（1,1）
     keep_prob  - 随机删除的概率，实数
 返回：
     A3  - 最后的激活值，维度为（1,1），正向传播的输出
     cache - 存储了一些用于计算反向传播的数值的元组
 """
 np.random.seed(1)#这个写上去很重要关系到方向传播时，找到正向传播期间对应的相同节点
 
 W1 = parameters["W1"]
 b1 = parameters["b1"]
 W2 = parameters["W2"]
 b2 = parameters["b2"]
 W3 = parameters["W3"]
 b3 = parameters["b3"]

 #LINEAR -> RELU -> LINEAR -> RELU -> LINEAR -> SIGMOID
 Z1 = np.dot(W1,X) + b1
 A1 = reg_utils.relu(Z1) 
 #dropout的核心操作（用判断后产生的结果（0或者1）去进行保留和筛选剔除）
 D1 = np.random.rand(A1.shape[0] ,A1.shape[1])#步骤1：初始化矩阵D1 = np.random.rand( , )
 D1 = D1 < keep_prob #步骤2：将D1的值转换为0或1（使​​用keep_prob作为阈值）
 A1 = A1 * D1        #步骤3：舍弃A1的一些节点（将它的值变为0或False）
 A1 = A1 / keep_prob #步骤4：缩放未舍弃的节点(不为0)的值
 
 Z2 = np.dot(W2,A1) + b2
 A2 = reg_utils.relu(Z2) 
 #这里第二次隐含层我们不进行dropout
 
 #第三次我们和第一次如法炮制就可以了，只是跟换了一下激活函数
 #下面的步骤1-4对应于上述的步骤1-4。
 D2 = np.random.rand(A2.shape[0],A2.shape[1])    #步骤1：初始化矩阵D2 = np.random.rand(..., ...)
 D2 = D2 < keep_prob                             #步骤2：将D2的值转换为0或1（使​​用keep_prob作为阈值）
 A2 = A2 * D2                                    #步骤3：舍弃A1的一些节点（将它的值变为0或False）
 A2 = A2 / keep_prob                             #步骤4：缩放未舍弃的节点(不为0)的值

 Z3 = np.dot(W3, A2) + b3
 A3 = reg_utils.sigmoid(Z3) 
 #用cache进行缓存：用元组的形式保存
 cache = (Z1 ,D1 ,A1 ,W1 ,b1 ,Z2 ,D2 ,A2 ,W2 ,b2 ,Z3 ,A3 ,W3 ,b3)
 return A3 ,cache

def backward_propagation_with_dropout(X ,Y ,cache ,keep_prob):
 

 """
  改变了前向传播的算法，我们也需要改变后向传播的算法，
 使用存储在缓存中的掩码D [ 1 ] D^{[1]}D[1]
  和 D [ 2 ] D^{[2]}D[2]
 将舍弃的节点位置信息添加到第一个和第二个隐藏层。
 """
 """
    实现我们随机删除的模型的后向传播。
    参数：
        X  - 输入数据集，维度为（2，示例数）
        Y  - 标签，维度为（输出节点数量，示例数量）
        cache - 来自forward_propagation_with_dropout（）的cache输出
        keep_prob  - 随机删除的概率，实数
    
    返回：
        gradients - 一个关于每个参数、激活值和预激活变量的梯度值的字典
    """
 m = X.shape[1]
 (Z1, D1, A1, W1, b1, Z2, D2, A2, W2, b2, Z3, A3, W3, b3) = cache
 dZ3 = A3 - Y#预测结果和真实的误差
 dW3 = (1 / m) * np.dot(dZ3 ,A2.T)
 db3 = (1 / m) * np.sum(dZ3 ,axis=1 ,keepdims=True) 
 dA2 = np.dot(W3.T ,dZ3)
 dZ2 = np.multiply(dA2, np.int64(A2 > 0))#除了最后一层外，dZi在方向（随机失活）中的通用写法
 dW2 = 1. / m * np.dot(dZ2, A1.T)#写法等价于dW2 = (1 / m) * np.dot(dZ2 ,A1.T)
 db2 = 1. / m * np.sum(dZ2, axis=1, keepdims=True)

 dA1 = np.dot(W2.T, dZ2)

 dA1 = dA1 * D1          # 步骤1：使用正向传播期间相同的节点，舍弃那些关闭的节点（因为任何数乘以0或者False都为0或者False）
 dA1 = dA1 / keep_prob   # 步骤2：缩放未舍弃的节点(不为0)的值

 dZ1 = np.multiply(dA1, np.int64(A1 > 0))
 dW1 = 1. / m * np.dot(dZ1, X.T)
 db1 = 1. / m * np.sum(dZ1, axis=1, keepdims=True)

 gradients = {"dZ3": dZ3, "dW3": dW3, "db3": db3,"dA2": dA2,
                "dZ2": dZ2, "dW2": dW2, "db2": db2, "dA1": dA1, 
                "dZ1": dZ1, "dW1": dW1, "db1": db1}

 return gradients 
 
 #以下是dropout的方向传播核心代码（不难，只用到了成一个（原来概率）倒数因子）
 dA2 = dA2 * D2  # 步骤1：使用正向传播期间相同的节点，舍弃那些关闭的节点（因为任何数乘以0或者False都为0或者False）
 dA2 = dA2 / keep_prob # 步骤2：缩放未舍弃的节点(不为0)的值
 

def compute_cost_with_regularization(A3,Y,parameters,lambd):
 """
 实现公式2的L2正则化计算成本

 参数：
     A3 - 正向传播的输出结果，维度为（输出节点数量，训练/测试的数量）
     Y - 标签向量，与数据一一对应，维度为(输出节点数量，训练/测试的数量)
     parameters - 包含模型学习后的参数的字典
 返回：
     cost - 使用公式2计算出来的正则化损失的值

 """
 m = Y.shape[1]
 W1 = parameters["W1"]
 W2 = parameters["W2"]
 W3 = parameters["W3"]

 cross_entropy_cost = reg_utils.compute_cost(A3,Y)

 L2_regularization_cost = lambd * (np.sum(np.square(W1)) + np.sum(np.square(W2))  + np.sum(np.square(W3))) / (2 * m)

 cost = cross_entropy_cost + L2_regularization_cost

 return cost

#当然，因为改变了成本函数，我们也必须改变向后传播的函数， 所有的梯度都必须根据这个新的成本值来计算。

def backward_propagation_with_regularization(X, Y, cache, lambd):
 """
 实现我们添加了L2正则化的模型的后向传播。

 参数：
     X - 输入数据集，维度为（输入节点数量，数据集里面的数量）
     Y - 标签，维度为（输出节点数量，数据集里面的数量）
     cache - 来自forward_propagation（）的cache输出
     lambda - regularization超参数，实数

 返回：
     gradients - 一个包含了每个参数、激活值和预激活值变量的梯度的字典
 """

 m = X.shape[1]

 (Z1, A1, W1, b1, Z2, A2, W2, b2, Z3, A3, W3, b3) = cache

 dZ3 = A3 - Y

 dW3 = (1 / m) * np.dot(dZ3,A2.T) + ((lambd * W3) / m )#也就dW3后面要加上一个关于lambd多项式，
 #这样是为了放缩补偿正则化对cost的影响，而我们要保持期望值
 db3 = (1 / m) * np.sum(dZ3,axis=1,keepdims=True)

 dA2 = np.dot(W3.T,dZ3)
 dZ2 = np.multiply(dA2,np.int64(A2 > 0))
 dW2 = (1 / m) * np.dot(dZ2,A1.T) + ((lambd * W2) / m)
 db2 = (1 / m) * np.sum(dZ2,axis=1,keepdims=True)

 dA1 = np.dot(W2.T,dZ2)
 dZ1 = np.multiply(dA1,np.int64(A1 > 0))
 dW1 = (1 / m) * np.dot(dZ1,X.T) + ((lambd * W1) / m)
 db1 = (1 / m) * np.sum(dZ1,axis=1,keepdims=True)

 gradients = {"dZ3": dZ3, "dW3": dW3, "db3": db3, "dA2": dA2,
                 "dZ2": dZ2, "dW2": dW2, "db2": db2, "dA1": dA1, 
                 "dZ1": dZ1, "dW1": dW1, "db1": db1}

 return gradients


def model(X ,Y ,learning_rate = 0.3 ,num_iterations = 30000 ,print_cost = True ,initialization="he" ,is_plot = True ,lambd = 0 ,keep_prob = 1):
 
 """
    实现一个三层的神经网络：LINEAR ->RELU -> LINEAR -> RELU -> LINEAR -> SIGMOID
    
    参数：
        X - 输入的数据，维度为(2, 要训练/测试的数量)
        Y - 标签，【0(蓝色) | 1(红色)】，维度为(1，对应的是输入的数据的标签)
        learning_rate - 学习速率
        num_iterations - 迭代的次数
        print_cost - 是否打印成本值，每迭代10000次打印一次，但是每1000次记录一个成本值
        is_polt - 是否绘制梯度下降的曲线图
        lambd - 正则化的超参数，实数
        keep_prob - 随机删除节点的概率
    返回
        parameters - 学习后的参数
    """
#1.初始化参数
##### 
 grads = {}#用于存贮梯度
 
 costs = []#用于打印信息
 
 
 m = X.shape[1]#这里表示X矩阵中有x的个数相当于图片的数量；
 #X.shape[0]表示的是每个x的长度
 layers_dims = [X.shape[0] ,20 ,3 ,1]#第一个是输入参数的维度（x的数量），后面都是各个隐含层包含神经元的个数
 #初始化参数
 #选择初始化参数的类型
 if initialization == "zeros":
  parameters = initialize_parameters_zeros(layers_dims)
 elif initialization == "random":
  parameters = initialize_parameters_random(layers_dims)
 elif initialization == "he":
  parameters = initialize_parameters_he(layers_dims)
 else : 
  print("错误的初始化参数！程序退出")
  exit
 #####-------------------以上是初始化的套路，layers_dims部分需要更加需求改动

#2开始学习
#2.1前向传播
#开始学习
######
 for i in range(0,num_iterations):
  
  #前向传播
  
  ##是否随机删除节点
  if keep_prob == 1:
      ###不随机删除节点
      a3 , cache = reg_utils.forward_propagation(X,parameters)
      #梯度校验代码no.1:cost, cache = forward_propagation_n(X, Y, parameters)#前向传播
  elif keep_prob < 1:
      ###随机删除节点
      a3 , cache = forward_propagation_with_dropout(X,parameters,keep_prob)
  else:
      print("keep_prob参数错误！程序退出。")
      exit
  
  #计算成本
  ## 是否使用二范数
  if lambd == 0:
      ###不使用L2正则化
      cost = reg_utils.compute_cost(a3,Y)
  else:
      ###使用L2正则化
      cost = compute_cost_with_regularization(a3,Y,parameters,lambd)
  
  #反向传播
  ##可以同时使用L2正则化和随机删除节点，但是本次实验不同时使用。
  assert(lambd == 0  or keep_prob ==1)
  
  ##两个参数的使用情况
  if (lambd == 0 and keep_prob == 1):
      ### 不使用L2正则化和不使用随机删除节点
      grads = reg_utils.backward_propagation(X,Y,cache)
      #梯度校验代码no.2gradients = backward_propagation_n(X, Y, cache)#反向传播计算梯度
  elif lambd != 0:
      ### 使用L2正则化，不使用随机删除节点
      grads = backward_propagation_with_regularization(X, Y, cache, lambd)
  elif keep_prob < 1:
      ### 使用随机删除节点，不使用L2正则化
      grads = backward_propagation_with_dropout(X, Y, cache, keep_prob)
  
  #cost, cache = forward_propagation_n(X, Y, parameters)#前向传播
  #gradients = backward_propagation_n(X, Y, cache)#反向传播计算梯度
  #这下面的parameter容易报错
  #梯度校验代码no.3：
  difference = gradient_check_n(parameters, gradients, X, Y) 
  print("梯度校验的结果是：" +str(difference)) 
  parameters = init_utils.update_parameters(parameters,grads,learning_rate)
  #####-------------------这里当成一个成熟的模块使用（打印记录的成本（或者称为“误差值”））
  #记录并打印成本
  if i % 10 == 0:
   # 记录成本
   costs.append(cost)#叠加cost和下面的打印不是一一对应的，而是部分重叠
   if (print_cost and i % 100 == 0):
    #打印成本
    print("第" + str(i) + "次迭代，成本值为：" + str(cost))
  #####-------------------
  
  #####-------------------这里当成一个成熟的模块使用（绘制成本曲线图）
  #是否绘制成本曲线图
 if is_plot:
  #版本1：
  #plt.plot(costs)
  #plt.ylabel('cost')
  #plt.xlabel('iterations (x1,000)')
  #plt.title("Learning rate =" + str(learning_rate))
  #plt.show() 
  #绘制图（版本2）
  
  plt.plot(costs)
  plt.ylabel('cost')
  plt.xlabel('iterations (per hundreds)')
  plt.title("Learning rate =" + str(learning_rate))
  plt.show()
######
 return parameters

"""
#测试dropout
parameters = model(train_X, train_Y, keep_prob=0.86, learning_rate=0.3,is_plot=True)

print("使用随机删除节点，训练集:")
predictions_train = reg_utils.predict(train_X, train_Y, parameters)
print("使用随机删除节点，测试集:")
reg_utils.predictions_test = reg_utils.predict(test_X, test_Y, parameters)
#查看分类情况(二分类的通用模板)
plt.title("Model with dropout")
axes = plt.gca()
axes.set_xlim([-0.75, 0.40])
axes.set_ylim([-0.75, 0.65])
reg_utils.plot_decision_boundary(lambda x: reg_utils.predict_dec(parameters, x.T), train_X, train_Y)

"""



"""
#测试没有正则化
parameters = model(train_X, train_Y, lambd = 0, keep_prob=0.86, learning_rate=0.3,is_plot=True)
plt.title("Model without regularization")
axes = plt.gca()
axes.set_xlim([-0.75,0.40])
axes.set_ylim([-0.75,0.65])
reg_utils.plot_decision_boundary(lambda x: reg_utils.predict_dec(parameters, x.T), train_X, train_Y)
"""
"""
#测试有正则化
#parameters = model(train_X, train_Y, lambd = 0.7, keep_prob=0, learning_rate=0.3,is_plot=True)
parameters = model(train_X, train_Y, learning_rate=0.3, num_iterations=30000, print_cost=True, initialization="he", is_plot=True, lambd=0.7, keep_prob=1)
plt.title("Model with regularization")
axes = plt.gca()
axes.set_xlim([-0.75,0.40])
axes.set_ylim([-0.75,0.65])
reg_utils.plot_decision_boundary(lambda x: reg_utils.predict_dec(parameters, x.T), train_X, train_Y)
"""

def forward_propagation(x,theta):
 """

 实现图中呈现的线性前向传播（计算J）（J（theta）= theta * x）

 参数：
 x  - 一个实值输入
 theta  - 参数，也是一个实数

 返回：
 J  - 函数J的值，用公式J（theta）= theta * x计算
 """
 J = np.dot(theta,x)

 return J

"""
#测试forward_propagation
print("-----------------测试forward_propagation-----------------")
x, theta = 2, 4
J = forward_propagation(x, theta)
print ("J = " + str(J))
"""
def backward_propagation(x,theta):
 """
 计算J相对于θ的导数。

 参数：
     x  - 一个实值输入
     theta  - 参数，也是一个实数

 返回：
     dtheta  - 相对于θ的成本梯度
 """
 dtheta = x

 return dtheta
"""
#测试backward_propagation
print("-----------------测试backward_propagation----------------")
x, theta = 2, 4
dtheta = backward_propagation(x, theta)
print ("dtheta = " + str(dtheta))
"""
def gradient_check(x,theta,epsilon=1e-7):
 """

 实现图中的反向传播。

 参数：
     x  - 一个实值输入
     theta  - 参数，也是一个实数
     epsilon  - 使用公式（3）计算输入的微小偏移以计算近似梯度

 返回：
     近似梯度和后向传播梯度之间的差异
 """


######以下是梯度检验，用于调试我们的代码：可以多次帮助我们快速检验反向传播的代码
 #使用公式（3）的左侧计算gradapprox。
 thetaplus = theta + epsilon                               # Step 1
 thetaminus = theta - epsilon                              # Step 2
 J_plus = forward_propagation(x, thetaplus)                # Step 3
 J_minus = forward_propagation(x, thetaminus)              # Step 4
 gradapprox = (J_plus - J_minus) / (2 * epsilon)           # Step 5


 #检查gradapprox是否足够接近backward_propagation（）的输出
 grad = backward_propagation(x, theta)

 numerator = np.linalg.norm(grad - gradapprox)                      # Step 1'
 denominator = np.linalg.norm(grad) + np.linalg.norm(gradapprox)    # Step 2'
 difference = numerator / denominator                               # Step 3'

 if difference < 1e-7:
  print("梯度检查：梯度正常!")
 else:
  print("梯度检查：梯度超出阈值!")

 return difference
"""
#测试gradient_check
print("-----------------测试gradient_check----------------------")
x, theta = 2, 4
difference = gradient_check(x, theta)
print("difference = " + str(difference))
"""
#高维参数
def forward_propagation_n(X,Y,parameters):
 """
 实现图中的前向传播（并计算成本）。

 参数：
     X - 训练集为m个例子
     Y -  m个示例的标签
     parameters - 包含参数“W1”，“b1”，“W2”，“b2”，“W3”，“b3”的python字典：
         W1  - 权重矩阵，维度为（5,4）
         b1  - 偏向量，维度为（5,1）
         W2  - 权重矩阵，维度为（3,5）
         b2  - 偏向量，维度为（3,1）
         W3  - 权重矩阵，维度为（1,3）
         b3  - 偏向量，维度为（1,1）

 返回：
     cost - 成本函数（logistic）
 """
 m = X.shape[1]
 W1 = parameters["W1"]
 b1 = parameters["b1"]
 W2 = parameters["W2"]
 b2 = parameters["b2"]
 W3 = parameters["W3"]
 b3 = parameters["b3"]

 # LINEAR -> RELU -> LINEAR -> RELU -> LINEAR -> SIGMOID
 Z1 = np.dot(W1,X) + b1
 A1 = gc_utils.relu(Z1)

 Z2 = np.dot(W2,A1) + b2
 A2 = gc_utils.relu(Z2)

 Z3 = np.dot(W3,A2) + b3
 A3 = gc_utils.sigmoid(Z3)

 #计算成本
 logprobs = np.multiply(-np.log(A3), Y) + np.multiply(-np.log(1 - A3), 1 - Y)
 cost = (1 / m) * np.sum(logprobs)

 cache = (Z1, A1, W1, b1, Z2, A2, W2, b2, Z3, A3, W3, b3)

 return cost, cache

"""
然而，θ \thetaθ不再是标量。 这是一个名为“parameters”的字典。
我们为你实现了一个函数“dictionary_to_vector（）”。
它将“parameters”字典转换为一个称为“values”的向量，通过将所有参数（W1，b1，W2，b2，W3，b3）整形为向量并将它们连接起来而获得。

反函数是“vector_to_dictionary”，它返回“parameters”字典。
"""
def backward_propagation_n(X,Y,cache):
 """
 实现图中所示的反向传播。

 参数：
     X - 输入数据点（输入节点数量，1）
     Y - 标签
     cache - 来自forward_propagation_n（）的cache输出

 返回：
     gradients - 一个字典，其中包含与每个参数、激活和激活前变量相关的成本梯度。
 """
 m = X.shape[1]
 (Z1, A1, W1, b1, Z2, A2, W2, b2, Z3, A3, W3, b3) = cache

 dZ3 = A3 - Y
 dW3 = (1. / m) * np.dot(dZ3,A2.T)
 dW3 = 1. / m * np.dot(dZ3, A2.T)
 db3 = 1. / m * np.sum(dZ3, axis=1, keepdims=True)

 dA2 = np.dot(W3.T, dZ3)
 dZ2 = np.multiply(dA2, np.int64(A2 > 0))
 #dW2 = 1. / m * np.dot(dZ2, A1.T) * 2  # Should not multiply by 2
 dW2 = 1. / m * np.dot(dZ2, A1.T)
 db2 = 1. / m * np.sum(dZ2, axis=1, keepdims=True)

 dA1 = np.dot(W2.T, dZ2)
 dZ1 = np.multiply(dA1, np.int64(A1 > 0))
 dW1 = 1. / m * np.dot(dZ1, X.T)
 #db1 = 4. / m * np.sum(dZ1, axis=1, keepdims=True) # Should not multiply by 4
 db1 = 1. / m * np.sum(dZ1, axis=1, keepdims=True)

 gradients = {"dZ3": dZ3, "dW3": dW3, "db3": db3,
                 "dA2": dA2, "dZ2": dZ2, "dW2": dW2, "db2": db2,
                 "dA1": dA1, "dZ1": dZ1, "dW1": dW1, "db1": db1}

 return gradients
def gradient_check_n(parameters,gradients,X,Y,epsilon=1e-7):
 """
 检查backward_propagation_n是否正确计算forward_propagation_n输出的成本梯度

 参数：
     parameters - 包含参数“W1”，“b1”，“W2”，“b2”，“W3”，“b3”的python字典：
     grad_output_propagation_n的输出包含与参数相关的成本梯度。
     x  - 输入数据点，维度为（输入节点数量，1）
     y  - 标签
     epsilon  - 计算输入的微小偏移以计算近似梯度

 返回：
     difference - 近似梯度和后向传播梯度之间的差异
 """
 #####
 #初始化参数
 parameters_values , keys = gc_utils.dictionary_to_vector(parameters) #keys在下面用不到 ,将字典类型转化为向量theta
 grad = gc_utils.gradients_to_vector(gradients)#将求导结果的数据类型转化为向量theta
 num_parameters = parameters_values.shape[0]
 J_plus = np.zeros((num_parameters,1))
 J_minus = np.zeros((num_parameters,1))
 gradapprox = np.zeros((num_parameters,1))
######这上面的代码段才是该高维梯度校验的核心代码
 #计算gradapprox
 for i in range(num_parameters):
  #计算J_plus [i]。输入：“parameters_values，epsilon”。输出=“J_plus [i]”
  thetaplus = np.copy(parameters_values)                                                  # Step 1
  thetaplus[i][0] = thetaplus[i][0] + epsilon                                             # Step 2
  #下面这一行的parameter部分容易报错
  J_plus[i], cache = forward_propagation_n(X,Y,gc_utils.vector_to_dictionary(thetaplus))  # Step 3 ，cache用不到

  #计算J_minus [i]。输入：“parameters_values，epsilon”。输出=“J_minus [i]”。
  thetaminus = np.copy(parameters_values)                                                 # Step 1
  thetaminus[i][0] = thetaminus[i][0] - epsilon                                           # Step 2  
  J_minus[i], cache = forward_propagation_n(X,Y,gc_utils.vector_to_dictionary(thetaminus))# Step 3 ，cache用不到

  #计算gradapprox[i]
  gradapprox[i] = (J_plus[i] - J_minus[i]) / (2 * epsilon)

 #通过计算差异比较gradapprox和后向传播梯度。
 numerator = np.linalg.norm(grad - gradapprox)                                     # Step 1'
 denominator = np.linalg.norm(grad) + np.linalg.norm(gradapprox)                   # Step 2'
 difference = numerator / denominator                                              # Step 3'

 if difference < 1e-7:
  print("梯度检查：梯度正常!")
 else:
  print("梯度检查：梯度超出阈值!")
 return difference

#高维梯度校验：
parameters = model(train_X, train_Y, lambd = 0, keep_prob=1, learning_rate=0.3,is_plot=True)#keep_prob=1表示不使用dropout

由于这里面主要讲解在进行梯度校验的细节部分，模型的训练过程在这里就不花时间讲解了。

---

在本项目的主函数中我们只需在模型代码中添加三行就可以实现梯度校验，这两行代码分别是：

#梯度校验代码no.1:cost, cache = forward_propagation_n(X, Y, parameters)#前向传播
#梯度校验代码no.2:gradients = backward_propagation_n(X, Y, cache)#反向传播计算梯度
#梯度校验代码no.3:
difference = gradient_check_n(parameters, gradients, X, Y)
print(“梯度校验的结果是：” +str(difference))

---

4.格式转化细节讲解

本项目中使用的格式转化函数，关键要reshape 成我们模型实际的格式：

def vector_to_dictionary(theta):
    """
    Unroll all our parameters dictionary from a single vector satisfying our specific required shape.
    """
    parameters = {}
    #下面这些reshape()要根据需求去改动，否则容易出现矩阵点乘维度不匹配（根据main.py中的这一段代码：
    #layers_dims = [X.shape[0] ,20 ,3 ,1]#第一个是输入参数的维度（x的数量），后面都是各个隐含层包含神经元的个数）
    #parameters["W1"] = theta[:20].reshape((5,4))
    #parameters["b1"] = theta[20:25].reshape((5,1))
    #parameters["W2"] = theta[25:40].reshape((3,5))
    #parameters["b2"] = theta[40:43].reshape((3,1))
    #parameters["W3"] = theta[43:46].reshape((1,3))
    #parameters["b3"] = theta[46:47].reshape((1,1))
    #量转化完后再变回字典
    parameters["W1"] = theta[:40].reshape((20, 2))
    parameters["b1"] = theta[40:60].reshape((20,1))
    parameters["W2"] = theta[60:120].reshape((3,20))
    parameters["b2"] = theta[120:123].reshape((3,1))
    parameters["W3"] = theta[123:126].reshape((1,3))
    parameters["b3"] = theta[126:127].reshape((1,1))    
    return parameters

我们用W1.shape可以查看其大小为(20, 2)所以对应reshape 前40gtheta[:40]
b1.shape
(20, 1)

总结

以上就是今天要讲的内容，本文仅仅简单介绍了梯度校验中对高维参数进行格式转化要注意的内容。为了展示，本文把模型每一次迭代的梯度校验结果都打印出来，但是在实际操作的过程中，我们只要关心第一次迭代的梯度校验。