小白最优化理论学习（一） 范数

一、什么是范数

初学者的纠结。。其实我们不必纠结什么是范数这类问题，就好比什么是“数”这样，范数其实也就是一种对“数”的定义。大佬就是为了某种计算或使用的方便这么定义的，小白菜的我们只要知道世界上有种数（函数或者其他啥的，反正是某种东西）叫做范数就OK了。

那么究竟是怎么定义的呢！请看下面：

网上通常比较好记忆的方式是 把范数看做距离，即满足非负性-齐次性-三角不等式，也是很好记忆。

总的来说，范数的本质是距离，存在的意义是为了实现比较。比如，在一维实数集合中，我们随便取两个点4和9，我们知道9比4大，但是到了二维实数空间中，取两个点（1，1）和（0，3），这个时候我们就没办法比较它们之间的大小，因为它们不是可以比较的实数，于是我们引入范数这个概念，把我们的（1，1）和（0，3）通过范数分别映射到实数 和 3 ，这样我们就比较这两个点了。所以你可以看到，范数它其实是一个函数，它把不能比较的向量转换成可以比较的实数。

引用作者：Faaany

要更好的理解范数，就要从函数、几何与矩阵的角度去理解，我尽量讲的通俗一些。
我们都知道，函数与几何图形往往是有对应的关系，这个很好想象，特别是在三维以下的空间内，函数是几何图像的数学概括，而几何图像是函数的高度形象化，比如一个函数对应几何空间上若干点组成的图形。
但当函数与几何超出三维空间时，就难以获得较好的想象，于是就有了映射的概念，映射表达的就是一个集合通过某种关系转为另外一个集合。通常数学书是先说映射，然后再讨论函数，这是因为函数是映射的一个特例。
为了更好的在数学上表达这种映射关系，（这里特指线性关系）于是就引进了矩阵。这里的矩阵就是表征上述空间映射的线性关系。而通过向量来表示上述映射中所说的这个集合，而我们通常所说的基，就是这个集合的最一般关系。于是，我们可以这样理解，一个集合（向量），通过一种映射关系（矩阵），得到另外一个几何（另外一个向量）。
那么：向量的范数，就是表示这个原有集合的大小。
           矩阵的范数，就是表示这个变化过程的大小的一个度量。

引用作者：JI Weiwei

二、一些向量范数

我们了解数包括“无理数”，“有理数”等等，我们可以说这个范数也可以划分（好理解而已，瞎b的）

对于以上公式的语言描述应该如下所示：

向量0范数，向量中非零元素的个数。

向量1范数，为绝对值之和。

向量2范数，就是通常意义上的模。

向量∞范数，就是取向量的最大值。（以上都是p范数的特例）

三、一些矩阵范数

对于以上公式的语言描述应该如下所示：

矩阵1范数（列模），矩阵的每一列上的元素绝对值先求和，再从中取个最大的，（列和最大）

矩阵2范数（谱模），矩阵ATA的最大特征值开平方根

矩阵∞范数（行模），矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大）

其他范数遇到直接看定义就好。。。