深度学习理论之数学基础

一、线性代数

    1.1 标量、向量、矩阵和张量

      标量：一个单独的数

      向量：一列数，一维数组

      矩阵：二维数组

      张量：超过二维的数组

      转置：以对角线为轴的镜像。

    1.2 矩阵和向量相乘

      矩阵乘法:两个矩阵A和B的矩阵乘积(matrix product)是第三个矩阵 C。为了使乘法定义良好,矩阵 A 的列数必须和矩阵 B 的行数相等。如果矩阵 A 的形状是 m × n,矩阵 B 的形状是 n × p,那么矩阵C 的形状是 m × p

                                                         

      点积:

                                                                    

    1.3 单位矩阵和逆矩阵

      单位矩阵:所有沿主对角线的元素都是 1,而所有其他位置的元素都是0,计作:

                                                                   

      逆矩阵:     

                                                      

      求逆矩阵的条件:

      矩阵A必须是一个 方阵(square),即 m = n,并且所有列向量都是线性无关的。一个列向量线性相关的方阵被称为奇异的(singular)。

    1.4 范数

       L 2 范数:当 p = 2 时,L2 范数被称为 欧