向量L0、L1、L2、L∞范数，矩阵F-范数

最新推荐文章于 2025-04-23 20:34:04 发布

Philtell

最新推荐文章于 2025-04-23 20:34:04 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

原文链接：https://blog.csdn.net/qq_36512295/article/details/88824622

本文详细介绍了向量范数（包括L0, L1, L2, L∞及Lp范数）和矩阵范数（特别是Frobenius范数）的概念，解释了它们在优化问题、特征选择和模型正则化中的应用，以及如何通过这些范数实现向量稀疏性和防止模型过拟合。

$L_0$ 范数
$\parallel x \parallel _0$ 向量x中非零元素的个数， $L_0$ 范数用于表达向量的稀疏性
由于 $L_0$ 优化问题属于NP难问题，因此在实际的使用中通常用 $L_1$ 范数代替
$L_1$ 范数
$\parallel x \parallel _1 = \sum_{i=1}^{n}{|x_i|}$ 向量x中各元素绝对值之和
性质： $L_1$ 优化的解为稀疏解。
因此 $L_1$ 范数被称为稀疏规则算子，可以通过 $L_1$ 算子，可以通过 $L_1$ 范数实现特征的稀疏，过滤掉无用的特征。
$L_2$ 范数
$\parallel x \parallel _2 = \sqrt {\sum_{i=1}^{n}}x_i^2$ 向量x中各元素平方和开方，通常用来做优化目标函数的正则化项，防止模型过拟合
$L_\infty$ 范数
$\parallel x \parallel _\infty = \stackrel{\mathrm{max|x_i|}}{x}{}$
向量x中元素的最大值
$L_p$ 范数
$\parallel x \parallel _p = \sqrt {\sum_{i=1}^{n}}x_i^p ，p \in [0,+\infty)$