【机器学习】5 ——过拟合，正则化

机器学习5 ——过拟合，正则化

---

---

过拟合

• 在某个具体的问题中，或者某个特定的问题表现很好
  换个同样类型或者相同的问题，不同的数据，立刻宕机

通常是因为模型对训练集的噪声或细节过于敏感，从而丧失了泛化能力。

• 和拟合对应的是泛化性，就是在同意类型的问题上表现良好，可能在某个问题上表现不如最好的能够，但是管得宽

• 过拟合和泛化是不可兼得的，除非非常非常特殊，需要权衡

解决

1. 增加训练数据，帮助拟合
   一般特征给的多，最好有与之匹配的训练数据量

2. 选择适合的特征，这都属于模型建立这一步的工作

3. 正则化
   在模型的损失函数中引入额外的惩罚项，来限制模型的复杂度，特征越多，模型越复杂

---

正则化（regularization）

缩减特征数，把某个特征去掉或者把这个特征的i影响力降到很低很低
对应惩罚函数

在最小化损失函数的思路中，给损失函数加上和参数有关的项（正则化项），加的这个东西大于0，也就是说，他会让损失函数变大

那为了最终使得损失函数最小，正则化项中对应的不那么重要的参数值减小

正则化项有个系数，这个系数就是权衡损失和正则化项对最终损失的“贡献”

L2 正则化（Ridge Regularization）

在损失函数中加入权重的平方和惩罚项来限制模型参数的大小。
L2正则化使模型倾向于较小的权重值，但不会使其完全归零。

L1 正则化（Lasso Regularization）

在损失函数中加入权重的绝对值惩罚项来限制模型参数的大小。
与L2正则化不同，L1正则化倾向于使一些权重完全归零，从而产生稀疏模型，即自动选择重要特征。