【吴恩达深度学习】测试2-1总结：正则化、初始化、梯度检验

正则化

1. Bias-varience trade-off

• 解决高偏差（训练集上的表现）：更大的神经网络、更久的训练
• 解决高方差（测试集上的表现）：更多的数据、正则化

2. 正则化（Regularization）是机器学习中一种常用的技术，其主要目的是控制模型复杂度，减小过拟合。最基本的正则化方法是在原目标（代价）函数 中添加惩罚项，对复杂度高的模型进行“惩罚”。

• L1正则化：$||w|{|}_1={\sum }_i|w_i|$
  使原最优解的元素产生不同量的偏移