L1、L2、Batch Normalization、Dropout为什么能够防止过拟合呢？

1、L1正则化

L1正则化算法用来防止过拟合时，是在损失函数上加入$||w||$，如下式所示：

在优化损失函数的时候L1正则化会产生稀疏矩阵，导致一部分w为0，注意这也是L1正则化的核心思想。产生稀疏矩阵之后，一部分w为0，一部分不为0，这样即可对特征进行选择。选择比较重要、明显的特征作为分类和预测的依据，抛弃那些不重要的特征。