正则化(Regularization)、归一化(Normalization)、权重初始化等

正则化（Regularization）

解决深度学习中的over-fitting(high variance)问题，有两个solutions，其中之一就是regularization，另外就是more data。

正则化就是在原cost function 中加入正则项

Why regularization can reduces overfitting?

直观上理解就是如果正则化系数$\lambda$设置的足够大，那矩阵$W$就会很小，就会导致隐藏单元的影响被削弱，相当于网络被简化了。然后$Z$也会变小，用tanh function来看，$z$很小的时候接近线性区。

因为一个简单网络是不容易造成overfitting的，所以综上正则化有利于预防过拟合。

Dropout Regularization

dropout 需要设置keep-prob阈值，遍历每个单元，然后通过keep-prob有选择地保留或删除 neural network units。达到简化网络的作用。

最常用的就是 Inverted dropout（反转随机激活）：通过除以keep-prop，可以确保$a$的期望值不变，no matter what keep-prop is。
dropout regularization 通常用于CV领域

Other regularization methods

数据扩增：图片放大，旋转，剪切等。得到的数据包含的信息随不能增加太多，但付出的代价几乎没有。
Easy stopping：提早停止训练神经网络。
根据训练误差或$J$的优化函数，对比验证集误差，可以选择迭代过程停止的位置。

.
.

归一化（Normalization）

归一化实现数据转化需要两个步骤：

• 零均值
• 归一化方差

μ = 1 m ∑ i = 1 m x ( i ) μ =