机器学习（线性代数）笔记

机器学习中的“向量”是指的只有一列的“矩阵”，这个矩阵有多少行就称其为有多少维度

一、行列式性质：

    1.某行加上或减去另一行的几倍，行列式的值不变

     2.某行乘K，等于K乘此行列式，例如：

     3.互换两行，行列式变号

     4.两行（列）成比例时，行列式的值为0

     5.某行（列）为两项相加减时，行列式可拆成两个行列式相加减。例如：

     6.求行列式的余子式与代数余子式（在余子式的基础上乘以一个-1的行+列次方）：

 

二、矩阵

矩阵的加（减）法：两个矩阵必须维度相同（行数列数相同）才可以加减，对应的元素相加减

矩阵的乘（除）法：

    1、标量与矩阵的乘（除）法：标量与矩阵中的每个元素进行相乘（除）【符合乘法交换律，结果一样；符合乘法结合律】

    2、矩阵与矩阵的乘（矩阵与矩阵没有除法）：前行乘后列，前面矩阵的列数要和后一个矩阵的行数相同，最终得到一个前行数X后列数维的矩阵【不符合乘法交换律；符合乘法结合律】例如：

   3、矩阵与矩阵的点乘：就是矩阵各个对应元素相乘, 这个时候要求两个矩阵必须同样大小，例如：

a = 
     1     0 
    -1     3
b = 
     3     1
     2     1

c = a . b

c =  3     0

     -2    3

 

也可以：

零矩阵：所有元素全为0，例如：

              任何矩阵乘以0矩阵都为0矩阵，0矩阵乘以任何矩阵也为0矩阵

 

单位矩阵：主对角线上全为1，其余位置全为0的矩阵，例如：

                     任何矩阵乘以单位矩阵都为其本身，单位矩阵乘以任何矩阵也为其本身，例如：

                     单位矩阵与标量乘法里面的“1”相同，不同维度矩阵的单位矩阵维度也不同，单位矩阵的维度可以通过与之相乘矩阵的行或者列来确定，例如：

注意！：1.矩阵的乘法是有顺序的，不能随便更改乘法顺序，例如：

              2.矩阵没有除法，例如：

              3.次方不能乘进去，例如：

  总结如下：

 

 

逆矩阵：相当于实数中的“倒数”概念，任何矩阵乘以它的逆矩阵都等于单位矩阵，例如：

矩阵A有可逆矩阵的条件：

                  1、矩阵A为方阵（行数与列数相同）

                  2、（2.1   ->   |A|（矩阵A的行列式）不等于0 ）或者 （2.2   ->   存在一个方阵，满足AB=E或BA=E）

矩阵只有同时满足条件1和条件2才可逆，只有方阵才有逆矩阵，不存在逆矩阵的矩阵称之为奇异矩阵或者退化矩阵

 

矩阵的转置：原矩阵的行变为列，原矩阵的列变为行，形成原矩阵的转置，例如：

转置矩阵的定义为：Aij = Aji，下面有一些关于矩阵转置的运算法则：

 

 

 

矩阵的初等变换：

(1) 交换矩阵的两行（对调i,j，两行记为ri，rj）；

(2) 以一个非零数k乘矩阵的某一行所有元素（第i行乘以k记为ri×k）；

(3) 把矩阵的某一行所有元素乘以一个数k后加到另一行对应的元素(第j行乘以k加到第i行记为ri+krj)。

若矩阵A经过有限次的初等行变换变为矩阵B，则矩阵A与矩阵B行等价；若矩阵A经过有限次的初等列变换变为矩阵B，则矩阵A与矩阵B列等价；若矩阵A经过有限次的初等变换变为矩阵B，则矩阵A与矩阵B等价。