【数学知识】||x||（范数 norm）

1. 范数的含义与定义

范数(norm)是数学中的一种基本概念，是具有“长度”概念的函数。
  在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。
  在线性代数、泛函分析及相关的数学领域，范数是一个函数，是矢量空间内的所有矢量赋予非零的正长度或大小。半范数可以为非零的矢量赋予零长度。

2. 常见范数

2.1 向量范数

通俗的理解，向量范数就是在这个向量空间中向量的大小
一般向量范数常使用L-P范数
其通用公式为：

注意，上述公式中X_i外应该有绝对值符号。
聪明的你应该已经发现了：
  L₀范数表示向量中非零元素个数

  L ₁范数表示向量元素绝对值之和，L1范数有很多的名字，例如我们熟悉的曼哈顿距离、最小绝对误差等。使用L1范数可以度量两个向量间的差异，如绝对误差和（Sum of Absolute Difference）
  由于L1范数的天然性质，对L1优化的解是一个稀疏解，因此L1范数也被叫做稀疏规则算子。通过L1可以实现特征的稀疏，去掉一些没有信息的特征，例如在对用户的电影爱好做分类的时候，用户有100个特征，可能只有十几个特征是对分类有用的，大部分特征如身高体重等可能都是无用的，利用L1范数就可以过滤掉。

  L ₂范数让人想到欧几里得距离，L2范数通常会被用来做优化目标函数的正则化项，防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

  L _∞通常用来度量元素的最大值。

2.2 矩阵范数

矩阵可以看作向量空间上的一次向量的线性变换，矩阵范数就是用来衡量变化幅度大小的。

2.2.1 诱导范数

由向量范数的L-P范数诱导而来，故曰诱导范数

列和范数，即所有矩阵列向量绝对值之和的最大值

谱范数，即ATA矩阵的最大特征值的开平方。（快去复习矩阵特征值怎么求）

行和范数，即所有矩阵行向量绝对值之和的最大值。

2.2.2 非诱导范数

Frobenius范数，即矩阵元素绝对值的平方和再开平方（上图公式漏了绝对值的平方，百度害人）

核范数，是指矩阵奇异值的和（快去复习什么叫矩阵奇异值）
作用：约束低秩
https://www.zhihu.com/question/26471536