神经网络和深度学习

多层神经网络初始化

np.random.randn(layers_dims[l], layers_dims[l - 1]) / np.sqrt(layers_dims[l - 1])

神经网络权重初始化问题
**

权重衰减

**
L2处理 权重会先自乘小于1的系数，再减去不含惩罚项的梯度；系数相等的情况下，绝对值较大的参数损失较大，故而惩罚较大。