机器学习笔记：L1范数和L2范数

L1范数和L2范数是两种常用的向量范数，它们的主要区别在于它们对向量元素的影响和它们在优化问题中的应用。

• L1范数：

  • 定义：L1范数是指向量中各个元素的绝对值之和。
  • 应用：L1范数可以用于特征选择，即让特征的系数变为0，从而实现稀疏化。这意味着L1范数可以使得学习得到的结果包含较少的特征，而这些特征的系数都是非零的。
  • 优点：L1范数可以防止过拟合，提升模型的泛化能力。此外，它还可以下降得更快，因为最小化权值参数L1时，参数变化得更快。
  • 缺点：L1范数可能会导致模型产生过多的稀疏性，即特征选择过多，这可能会影响模型的性能。

• L2范数：

  • 定义：L2范数是指向量各元素的平方和然后求平方根，也被称为欧几里得范数或Frobenius范数。
  • 应用：L2范数可以作为正则化项，防止模型为了迎合训练集而过于复杂造成过拟合。它倾向于选择更多的特征，即使这些特征的系数都很小，但不会为零。
  • 优点：L2范数可以提升模型的泛化能力，因为它可以处理条件数不好的矩阵，即使数据变化很小，矩阵求解后结果变化很大。
  • 缺点：L2范数可能会导致模型选择过多的特征，即使这些特征的系数都很小，这可能会影响模型的效率和性能。

总结来说，L1范数倾向于产生稀疏解，而L2范数倾向于产生稠密解。L1范数在特征选择和稀疏化方面有其优势，而L2范数在防止过拟合和提升模型泛化能力方面有其优势。