正则化是防止过拟合的有效方法，包括L2正则化（权重衰减）和L1正则化。L2正则化通过增加权重平方和的项，使权重向量趋向较小值，降低模型复杂度。L1正则化则倾向于产生稀疏权重，有助于特征选择。Dropout是一种在训练过程中随机关闭神经元的策略，模拟多个简化网络的并行训练，提高模型的鲁棒性。
正则化方法：防止过拟合，提高泛化能力
在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不work。
为了防止overfitting，可以用的方法有很多，下文就将以此展开。有一个概念需要先说明，在机器学习算法中，我们常常将原始数据集分为三部分：training data、validation data，testing data。这个validation data是什么？它其实就是用来避免过拟合的，在训练过程中，我们通常用它来确定一些超参数（比如根据validation data上的accuracy来确定early stopping的epoch大小、根据validation data确定learning rate等等）。那为啥不直接在testing data上做这些呢？因为如果在testing data做这些，那么随着训练的进行，我们的网络实际上就是在一点一点地overfitting我们的testing data，导致最后得到的te
订阅专栏 解锁全文
488
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
