weixin_47588151的博客

原创 关于正则化一些记录

对于$X_{N \times P}$，$x_i \in \mathbb{R}^P$，其中$N$为样本数，$P$为样本维度。当模型的复杂度>>数据的复杂度时，会出现过拟合现象，即模型过度拟合了训练数据，其泛化能力变差。仅控制一个参数，不进行正则化也不会导致太大方差，为了减小空间，所有层使用共同的权重衰减。正则化（岭回归，Ridge Regression ），因为其关联两个变量之间的相互作用，而。等方法防止模型过拟合。