《深度学习500问》之【数学基础篇】——学习笔记（一）

        本文参考由哈工大博士生-袁笛、同济大学-乔成磊先生所著的《深度学习500问》而写的学习笔记。学海无涯，笔者不才，望多包涵！

一、标量、向量、矩阵、张量

• 标量（scalar) ​一个标量表示一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组），只有大小，没有方向。我们用斜体表示标量。标量通常被赋予小写的变量名称。
• 向量（vector） ​一个向量表示一组有序排列的数。通过次序中的索引，我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称，比如xx。向量中的元素可以通过带脚标的斜体表示。向量X的第一个元素是X_1，第二个元素是X_2，以此类推。我们也会注明存储在向量中的元素的类型（实数、虚数等）。
• 矩阵（matrix） ​矩阵是具有相同特征和纬度的对象的集合，表现为一张二维数据表。其意义是一个对象表示为矩阵中的一行，一个特征表示为矩阵中的一列，每个特征都有数值型的取值。通常会赋予矩阵粗体的大写变量名称，比如A。
• 张量（tensor） ​在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们将其称之为张量。使用 A 来表示张量“A”。张量A中坐标为(i,j,k)的元素记作A_{(i,j,k)}。

     注意：

             标量是0阶张量，向量是1阶张量。

二、张量和矩阵的区别

• 从代数角度讲， 矩阵它是向量的推广。向量可以看成一维的“表格”（即分量按照顺序排成一排）， 矩阵是二维的“表格”（分量按照纵横位置排列）， 那么n阶张量就是所谓的n维的“表格”。 张量的严格定义是利用线性映射来描述。
• 从几何角度讲， 矩阵是一个真正的几何量，也就是说，它是一个不随参照系的坐标变换而变化的东西。向量也具有这种特性。
• 张量可以用3×3矩阵形式来表达。
• 表示标量的数和表示矢量的三维数组也可分别看作1×1，1×3的矩阵。

 

三、矩阵和向量相乘的结果

        一个m行n列的矩阵和n行向量相乘，最后得到就是一个m行的向量。运算法则就是矩阵中的每一行数据看成一个行向量与该向量作点乘。

python test:

import numpy as np
a=np.array([[1,2,3],[4,5,6]])
b=np.array([5,6,7])
c=np.dot(a,b)

result:

四、向量和矩阵的范数归纳

1、向量的范数 ​

    定义一个向量为：vec{a}=[-5, 6, 8, -10]。任意一组向量设为vec{x}=(x_1,x_2,...,x_N)。其不同范数求解如下：

• 向量的1范数：向量的各个元素的绝对值之和，上述向量vec{a}的1范数结果就是：29。
• 向量的2范数：向量的每个元素的平方和再开平方根，上述vec{a}的2范数结果就是：15。
• 向量的负无穷范数：向量的所有元素的绝对值中最小的：上述向量vec{a}的负无穷范数结果就是：5。
• 向量的正无穷范数：向量的所有元素的绝对值中最大的：上述向量vec{a}的负无穷范数结果就是：10。
• 向量的p范数：向量元素绝对值的p次方和的1/p次幂。

2、矩阵的范数

       ​定义一个矩阵A=[-1, 2, -3; 4, -6, 6]。 任意矩阵定义为：A{m*n}，其元素为 a{ij}。当向量取不同范数时, 相应得到了不同的矩阵范数。

• 矩阵的1范数（列范数）：矩阵的每一列上的元素绝对值先求和，再从中取个最大的,（列和最大），上述矩阵A的1范数先得到[5,8,9]，再取最大的最终结果就是：9。
• 矩阵的2范数：矩阵A^TA的最大特征值开平方根，上述矩阵A的2范数得到的最终结果是：10.0623。
• 其中， lambda_{max}(A^T A) 为 A^T A 的特征值绝对值的最大值。
• 矩阵的无穷范数（行范数）：矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大），上述矩阵A的1范数先得到[6；16]，再取最大的最终结果就是：16。
• 矩阵的核范数：矩阵的奇异值（将矩阵svd分解）之和，这个范数可以用来低秩表示（因为最小化核范数，相当于最小化矩阵的秩——低秩），上述矩阵A最终结果就是：10.9287。
• 矩阵的L0范数：矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏，上述矩阵A最终结果就是：6。
• 矩阵的L1范数：矩阵中的每个元素绝对值之和，它是L0范数的最优凸近似，因此它也可以表示稀疏，上述矩阵A最终结果就是：22。
• 矩阵的F范数：矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的有点在它是一个凸函数，可以求导求解，易于计算，上述矩阵A最终结果就是：10.0995。
• 矩阵的L21范数：矩阵先以每一列为单位，求每一列的F范数（也可认为是向量的2范数），然后再将得到的结果求L1范数（也可认为是向量的1范数），很容易看出它是介于L1和L2之间的一种范数，上述矩阵A最终结果就是：17.1559。
• 矩阵的 p范数