范数汇总

范数汇总

2016年12月02日 20:49:45 秋水长天q 阅读数：1428 标签： 机器学习 更多

个人分类： 机器学习

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Augster/article/details/53438531

        范数，是具有长度概念的函数，在线性代数泛函分析中及相关的数学领域中是一个函数，其为向量空间内的所有向量赋予非零的正长度或大小。在平时的学习中，总是会出现范数的身影，本篇文章主要从向量的范数和矩阵的范数来说明。

1.范数满足的三个特性

      1.非负性：,且||x||=0当且仅当x=0时候成立。

      2.齐次性：||k.x||=|k|.||x||

      3.三角不等式：

2.向量的范数

   1-范数，向量的1范数为向量所有元素的绝对值之和：

                                                                      

   2-范数，向量的2范数为向量元素的平方和开平方根，数值上等价于欧几里得距离：

                                                                    

   p-范数，向量元素的P次方之和再开1/p次方：

                                                                    

   正向无穷范数，向量元素中绝对值最大的值：

                                                                    

   负向无穷范数，向量元素中绝对值最小的值：

                                                                    

3.矩阵的范数

     定义大小为m*n的矩阵。

     1-范数，矩阵的1范数是矩阵中列向量绝对值之和的最大值：

                                                                
    2-范数，矩阵的2范数是矩阵的最大特征值进行开平方：

                                                               

    F-范数，矩阵所有元素绝对值的平方和再开方：

                                                             

   21范数，矩阵每一行的2范数之和：

                                                               

先看上面l21范数的定义，注意原始矩阵是n行t列的，根号下平方是对列求和，也就是说是在同一行中进行操作的，根号部分就相当于一个l2范数，由此可以看出l21范数实则为矩阵X每一行的l2范数之和。

在矩阵稀疏表示模型中，把它作为正则化项有什么作用呢？前面说到它是每一行的l2范数之和，在最小化问题中，只有每一行的l2范数都最小总问题才最小。而每一个行范数取得最小的含义是，当行内尽可能多的元素为0时，约束才可能取得最小。而行内尽可能地取0意思是说行稀疏！

综上可以这样解释，不同于l1范数（矩阵元素绝对值之和）的稀疏要求，l21范数还要求行稀疏！

（好像我今天给老师说成列稀疏了，虽然在我遇到的那个问题中行列稀疏差别不是太大。。。当然也有L12，关键是看具体如何定义的，我们将此类统称为结构化稀疏。以后别人问我问题我一定要尽可能和别人说清楚！！！）

--------------------- 本文来自 JianzhuWang 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/jzwong/article/details/50700361?utm_source=copy