机器学习第六天-线性代数02

周六终于订婚完成了，周日在忙新房装修，一晃两天没有学习，得赶紧学习，大家一起加油。路虽远兴则将至。

一、矩阵

1.矩阵的秩

• 在m*n阶矩阵A中，任取k行k列，不改变这k²个元素在A中的次序，得到k阶方阵，称为矩阵A的k阶子式。
• 设在矩阵A中有一个不等于0的r阶子式D，且所有r+1阶子式（如果存在的话）全等于0，那么，D称为矩阵A的最高阶非零子式，r称为矩阵A的秩，记作R(A)=r。
  • n*n的可逆矩阵，秩为n
  • 可逆矩阵又称满秩矩阵
  • 矩阵的秩等于它行（列）向量组的秩

• 秩与线性方程组的解之间的关系

  • 
  • 对于n元线性方程组Ax=b,
    • 无解的充要条件是R(A)<R(A,b)
    • 有唯一解的充要条件是R(A)=R(A,b)=n
    • 有无限多解的充要条件是R(A)=R(A,b)<n

  • 矩阵的应用

    • 
    • 

2.范数

• 用于衡量一个向量的大小，Lp范数的定义如下
  • 
  • 
  • 

3.对角矩阵

• 对角矩阵是一个主对角线之外的元素皆为0的矩阵。对角线上的元素可以为0或其他值。对角线上元素相等的对角矩阵称为数量矩阵；对角线上元素全为1的对角矩阵称为单位矩阵。
  • （1）对角矩阵如：
    • 
  • (2)对角矩阵可以记作：A=diag(λ1，λ2，······，λn)。
  • (3)当λ1=λ2=······=λn=a时，对角矩阵

4.矩阵的主成分分解（PCA）

•  将矩阵分解成一组特征向量和特征值。
• PCA常用于特征提取
  • 方阵A的特征向量是指与A相乘后相当于对该向量进行缩放的非零向量v：
    • Av=λv
  • 标量λ被称为这个特征向量对应的特征值。

5.向量的内积/点积

• 点积有两种定义方式：代数方式和几何方式。通过在欧氏空间中引入笛卡尔坐标系，向量之间的点积既可以由向量坐标的代数运算得出，也可以通过引入两个向量的长度和角度等几何概念来求解。

• 代数定义：

  •         

• 几何定义：

  • 

• 标量投影：

  • 

 6.向量正交

正交是线性代数的概念，是垂直这一直观概念的推广。作为一个形容词，只有在一个确定的内积空间中才有意义。若内积空间中两向量的内积为0，则称它们是正交的。如果能够定义向量间的夹角，则正交可以直观的理解为垂直。

7.向量外积

8.正交矩阵