深度学习：吴恩达编程作业问题L2W1

作业1：随机初始化

将权重随机初始化为非常大，放大十倍
parameters[‘W’ + str(l)] = np.random.randn(layers_dims[l],layers_dims[l-1]) *10

运行结果：
On the train set:Accuracy: 0.83
On the test set:Accuracy: 0.86

实验1：不放大十倍，随机初始化的效果

权重矩阵W随机初始化为
parameters[‘W’ + str(l)] = np.random.randn(layers_dims[l],layers_dims[l-1])

运行结果：
On the train set:Accuracy: 0.9966666666666667
On the test set:Accuracy: 0.96

作业2：He初始化

He初始化建议使用的ReLU激活层
权重矩阵W初始化为
parameters[‘W’ + str(l)] = np.random.randn(layers_dims[l],layers_dims[l-1]) * np.sqrt(2./layers_dims[l-1])
运行结果：
On the train set:Accuracy: 0.9933333333333333
On the test set:Accuracy: 0.96

讨论：竟然随机初始化的效果好于He初始化？

随机初始化的起始代价高于He初始化，但是在经过一次迭代之后，代价基本持平，并且两种趋势基本一致。

作业3：L2正则化

需要在代价函数中加入正则化项，并且在反向传播时更改仅涉及dW的计算公式。对于每一个dW，必须添加相对应的正则化项的梯度

如：dW3 = 1./m * np.dot(dZ3, A2.T) + lambd/m * W3
设置λ值为0.7：
parameters = model(train_X, train_Y, lambd = 0.7)
运行结果：
On the train set：Accuracy: 0.9383886255924171
On the test set：Accuracy: 0.93

实验3：修改λ值

验证：L2正则化使决策边界更平滑。如果λ太大，则也可能“过度平滑”，从而使模型偏差较高。
将λ值设置为0.9
运行结果：
On the train set：Accuracy: 0.9241706161137441
On the test set：Accuracy: 0.93

讨论：λ取多少最好？

将λ值设置为0.5
运行结果：
On the train set：Accuracy: 0.9478672985781991
On the test set：Accuracy: 0.94

将λ值设置为0.3
运行结果：
On the train set：Accuracy: 0.919431279620853
On the test set：Accuracy: 0.945

将λ值设置为0.1
运行结果：
On the train set：Accuracy: 0.9383886255924171
On the test set：Accuracy: 0.95

将λ值设置为0.05
运行结果：
On the train set：Accuracy: 0.9383886255924171
On the test set：Accuracy: 0.935

总结：在λ取0.9，0.7，0.5，0.3，0.1，0.05中，结果表明λ取0.1效果最好，0.05发生过拟合现象

当λ取0，0.1，0.2，…，1绘制在测试集上的精度曲线：

总结：不加入正则化项的效果最差，当λ取0.6时效果最好。