机器学习中，为了提高模型的泛化能力，常常使用L1和L2正则化。L1正则化产生稀疏权值矩阵，有利于特征选择，而L2正则化能有效防止过拟合。加入正则化项后的损失函数如Ridge Regression和Lasso Regression，通过调整系数平衡模型复杂度和泛化性能。
在机器学习算法中，如果我们要寻找一个模型去尽量拟合所以训练数据，使误差最小，那么对于新的数据很可能就会出现预测准确率不高，也就是说模型的泛化能力较差，尤其在回归分类算法，比如线性回归，逻辑回归，神经网络等，由于模型尽量去拟合训练数据，对训练数据得拟合程度很高，但模型是用来做预测的，对新数据的预测能力才是评估一个模型的标准。比如两个模型 M1: 0.1x1+0.2w2+0.3w3=y M2: 10000x1+20000x2+30000x3=y ，假如新的数据中x1存在误差10，M1模型产生的累加误差为1，M2模型产生的误差为100000，显然模型M1的泛化能力更强。
机器学习中在损失函数中添加额外的一项，以达到制约各个参数的目的，这就是我们通常说的L1,L2正则化，多元线性回归中的损失函数添加各个系数平方和
称为Ridge Regression:
添加绝对值和
称为Lasso Regression:
<
最低0.47元/天 解锁文章
435
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
