范数理解

1. 定义：
   范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。可以简单把范数当作距离来理解。
   范数分为：向量范数和矩阵范数。向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。
   并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。
2. 常用的三种p-范数推导出的矩阵范数：
   （1）1-范数：║A║1 = max{ ∑|ai1|，∑|ai2|，……，∑|ain| } （列和范数，A每一列元素绝对值之和的最大值）（其中∑|ai1|第一列元素绝对值的和∑|ai1|=|a11|+|a21|+…+|an1|，其余类似）
   （2）2-范数：比较常用的范数，就是度量欧式距离的一种范数。定义如下：
   
   表示向量的平方和再开平方。
   同时也可以度量两个向量间的差;平方差和:
   
   对于L2范数，优化如下：
   min||x||2； s, t, Ax=b
   L2范数通常会被用来做优化目标函数的正则化项，防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。
   更多详细内容