正则化有助于防止过度拟合，通过在损失函数中添加惩罚项。本文介绍了L1和L2正则化，Dropout，数据增强和早停策略。L1正则化（Lasso回归）能将不重要特征的系数减小到零，适合特征选择；L2正则化（岭回归）则惩罚系数的平方。Dropout在每次迭代中随机丢弃一部分神经元，模拟集成学习。数据增强通过图像变换增加训练数据多样性。早停策略通过监控验证集性能来防止过拟合。文章还提供了Python实现示例。
正则化有助于克服过度拟合模型的问题。过度拟合是偏差和方差平衡的概念。如果过度拟合，机器学习模型将具有较低的准确性。当我们的机器学习模型试图从数据中学习更多属性时，就会添加来自训练数据的噪声。这里的噪声意味着数据点并不真正呈现数据的真实属性。
它将系数估计值调整或收缩为零。
在上面的图形中，您可以更好地理解这一点。
不同的正则化技术：
- L1和L2正则化
- Dropout
- 数据增强
- 提前停止(Early stopping)
正则化对系数进行惩罚。在深度学习中，它实际上惩罚了节点的权重矩阵。
L1和L2正则化：
它是最常见的正则化类型。在回归模型中，L1正则化称为Lasso回归，L2称为岭回归。
成本函数=损失(交叉熵)+正则化
在机器学习中，这个拟合过程涉及到损失函数RSS(残差平方和)。
Lasso(L1 Normalization)
Ridge (L2 Normalization)
'y'表示学习关系，' β'表示不同变量或预测变量(x)的系数估计。 λ是调整参数，决定了我们想要多大程度地惩罚模型的灵活性。
这两者的区别在于惩罚项。Ridge将系数的平方大小作为惩罚项加到损失函数上。 Lasso (Least Absolute Shrinkage and Selection Operator)增加系数的绝对值。
如果机器学习数据集中有大量特征，
最低0.47元/天 解锁文章
扫一扫
178
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
