使用Dropout防止神经网络过拟合（纯numpy实现）

1、原理简述

dropout简单来讲，就是在迭代的过程中，随机的丢弃掉某些神经元，使得其训练只包含部分神经元的网络，因为任何神经元都有可能消失，所以模型会变得对神经元不那么敏感，表现就是对参数W的压缩，起到与L2正则化类似的作用。
执行步骤：
1->随机生成一个数值在（0-1）之间的，与A[l]维数相同的矩阵,drop_prob是保留概率

D[l] = np.random.rand(A[l].shape[0],A[l].shape[1])<drop_prob

2->丢弃部分神经元（前向传播）

A[l] = A[l]*D[l]
A[l] = A[l]/drop_prob  #保持期望值一样

3->丢弃部分神经元（后向传播）

dA[l] = dA[l]*D[l]
dA[l] = dA[l]/drop_prob  #保持期望值一样

2、实验结果

不使用正则化，即drop_prob=1.0

"

训练正确率：1.0
测试错误率：0.925

使用Dropout正则化，drop_prob=0.6

训练正确率：0.919431279620853
测试错误率：0.95

以上可以看出，Dropout正则化可以有效的抑制神经网络过拟合

3、python实现

import numpy as np
import matplotlib.pyplot as plt
import nn_utils 
train_x,train_y,test_x,test_y = nn_utils.load_2D_dataset()#导入数据
nTrain = train_x.shape[1]
nTest = test_x.shape[1]
#初始化超参数----------------------------------------
layers = [train_x.shape[0], 50, 35, 20, 10, 1]  #网络结构
alpha = 0.02  #学习率
drop_prob = 0.6   #神经元保留概率
Iterations = 40000  #迭代次数
nLayers = len(layers)-1 #网络层数
#初始化W,b-------------------------------------------
W = [[] for i in range(nLayers+1)]
b = [[] for i in range(nLayers+1)]
for l in range(1,nLayers+1):
    W[l] = np.random.randn(layers[l],layers[l-1])/(np.sqrt(layers[l-1]/2))
    b