正则化 Bias-varience trade-off 解决高偏差(训练集上的表现):更大的神经网络、更久的训练 解决高方差(测试集上的表现):更多的数据、正则化 正则化(Regularization)是机器学习中一种常用的技术,其主要目的是控制模型复杂度,减小过拟合。最基本的正则化方法是在原目标(代价)函数 中添加惩罚项,对复杂度高的模型进行“惩罚”。 L1正则化: ∣ ∣ w ∣ ∣ 1 = ∑ i ∣ w i ∣ ||w||_1=\sum_i|w_i| ∣∣w∣∣1=∑i∣wi∣ 使原最优解的元素产生不同量的偏移