正则化（Regularization）、归一化、BN层

1. “正则化” 的概念

正则化：减小方差的策略

误差  =  偏差 + 方差 + 噪声

如下所示：

2. “正则化” 的分类

假设以 二维特征权重 讨论：

L1 正则化（左图）：|w1| + |w2| + ... + |wi| = t （用处：提取、筛选部分特征权重）

L2 正则化（右图）：w1^2 + w2^2 + ... + wi^2 = t （用处：使特征权重尽可能小、更为紧凑）

3. “正则化” 的公式推导

4. drop - out 理论

随机：dropout probability

失活：weight = 0

5.