标量，向量，矩阵和张量的关系

 

在深度学习中，大家肯定都知道这几个词：标量，向量，矩阵，张量。但是要是让我们具体说下他们，可能一下子找不出头绪。下面介绍一下他们之间的关系：

标量（scalar)
​一个标量表示一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组）。我们用斜体表示标量。标量通常被赋予小写的变量名称。

向量（vector）
​一个向量表示一组有序排列的数。通过次序中的索引，我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称，比如xx。向量中的元素可以通过带脚标的斜体表示。向量X的第一个元素是X_1，第二个元素是X_2，以此类推。我们也会注明存储在向量中的元素的类型（实数、虚数等）。

矩阵（matrix）
​矩阵是具有相同特征和纬度的对象的集合，表现为一张二维数据表。其意义是一个对象表示为矩阵中的一行，一个特征表示为矩阵中的一列，每个特征都有数值型的取值。通常会赋予矩阵粗体的大写变量名称，比如A。

张量（tensor）
​在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们将其称之为张量。使用 A来表示张量“A”。张量A中坐标为(i,j,k)的元素记作A_{(i,j,k)}。

四者之间关系

标量是0阶张量，向量是一阶张量。举例：
​标量就是知道棍子的长度，但是你不会知道棍子指向哪儿。
​向量就是不但知道棍子的长度，还知道棍子指向前面还是后面。
​张量就是不但知道棍子的长度，也知道棍子指向前面还是后面，还能知道这棍子又向上/下和左/右偏转了多少。

 

再留一下向量和矩阵的范数归纳

向量的1范数：向量中各个元素的绝对值之和；

向量的2范数：向量中各个元素平方后求和，再开方 ；

向量的负无穷范数：向量中所有元素的绝对值中最小的；

向量的正无穷范数：向量中所有元素的绝对值中最大的；

向量的P范数：向量中所有元素绝对值的P次方和开1/p次幂

矩阵范数：

• 矩阵的1范数（列范数）：矩阵的每一列上的元素绝对值先求和，再从中取个最大的,（列和最大）；
• 矩阵的2范数：矩阵A^TA的最大特征值开平方根；
• 矩阵的无穷范数（行范数）：矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大）
• 矩阵的核范数：矩阵的奇异值（将矩阵svd分解）之和，这个范数可以用来低秩表示（因为最小化核范数，相当于最小化矩阵的秩——低秩）
• 矩阵的L0范数：矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏
• 矩阵的L1范数：矩阵中的每个元素绝对值之和，它是L0范数的最优凸近似，因此它也可以表示稀疏
• 矩阵的F范数：矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的有点在它是一个凸函数，可以求导求解，易于计算