向量与矩阵

一 ，标量，向量，矩阵与张量

标量（scalar）：一个标量代表一个单独的数，它不同与线性代数中研究的其它大部分对象（通常是由多个数构成的数组）。我们通常用斜体的小写字母表示标量。
向量（vector）：一个向量表示一组有序排列的数。通过次序中的索引，可以确定每个单独的数。通常赋予向量粗体的小写标量名称。
矩阵（matrix）：矩阵是具有相同特征和维度的对象的集合，表现为一张二维数据表。其意义是，一个对象表示为矩阵中的一行，一个特征表现为矩阵中的一列，每个特征都有数值型的取值。通常用加粗的大写字母来表示。
张量（tensor）:某些情况下，我们会讨论超过两维的数组。一般来说，如果一个数组中的元素分布在若干维坐标的规则网格中，则称之为张量。

相互联系：标量是零阶张量，向量是一阶张量。
标量：知道棍子的长度，但是不知道棍子指向哪儿。
向量：不仅知道棍子的长度，还知道棍子指向前面还是后面。
张量：不仅知道棍子长度，知道棍子指向前面还是后面，还知道棍子向上/下和左/右偏转了多少。

二，向量和矩阵的范数归纳

向量范数

向量的1范数：向量中各个元素的绝对值之和。
向量的2范数：向量中每个元素的平方和的平方根。
向量的负无穷范数：向量中所有元素的绝对值中最小的。
向量的正无穷范数：向量中所有元素的绝对值中最大的。
向量的p范数：可以看成向量2范数的扩展，向量元素的绝对值的p次方和的1/p次幂。

矩阵范数

矩阵的1范数（列范数）：对矩阵每一列上的元素绝对值先求和，再从中取一个最大的（列和最大）。
矩阵的2范数：矩阵A转置乘A的最大特征值的平方根。
矩阵的无穷范数（行范数）：对矩阵每一行上的元素绝对值先求和，再从中取一个最大的（行和最大）。
矩阵的核范数：矩阵的奇异值之和，这个范数可以用低秩表示（因为最小化核范数，相当于最小化矩阵的秩，即低秩）。
矩阵的L0范数：矩阵的非零原数的个数，通常表示稀疏度，L0范数越小，0元素越多，矩阵就越稀疏。
矩阵的L1范数：矩阵中每个元素的绝对值之和，它是L0范数的最优凸近似，因此它也可以表示稀疏。
矩阵的F范数：矩阵的各个元素平方之和再开平方根，通常也叫矩阵的L2范数。
矩阵的L21范数，矩阵先以每一列为单位，求每一列的F范数，然后再将得到的结果求L1范数，是一种介于L1和L2范数之间的范数。