机器学习（三）——矩阵和线性代数

• 矩阵
  SVD
  矩阵的乘法
  状态转移矩阵
  状态转移矩阵

• 特征值和特征向量
  对称阵
  正交阵
  正定阵
  数据白化

• 矩阵求导
  向量对向量求导
  标量对向量求导
  标量对矩阵求导
  
  

一.矩阵

1.1 SVD

奇异值 分解（Singular Value Decomposition），假设A是一个m×n阶矩阵，则存在一个分解使得

        Σ对角线上的元素称为矩阵A的奇异值；

         U的第i列称为A的关于σi的左奇异向量；

         V的第i列称为A的关于σi的右奇异向量。

        通常将奇异值由大而小排列。如此Σ便能由M唯一确定了。（虽然U和V仍然不能确定）。而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r大的奇异值来近似描述矩阵，那么SVD就起到一个特征选择的作用或者是降维的作用。

 具体描述参考：http://blog.csdn.net/zhongkejingwang/article/details/43053513

1.2 代数余子式

在一个n阶行列式A中,把(i,j)元素a_ij所在的第i 行和第j列划去后，留下的n-1阶方阵的行列式叫做元素a_ij的余子式，记作M_ij

注意：行列式是数值，因此余子式和代数余子式也是数值；余子式可能也可能是负数。

 

1.3 伴随矩阵

注意：位于第j行i列

 

1.4  方阵的逆

当方阵的行列式不为0时，有：

如果不是方正，请参考矩阵的广义逆

 

1.5 范德蒙行列式

1.6 矩阵的乘法

AA为m∗sm∗s阶的矩阵，BB为s∗ns∗n阶的矩阵，那么，C=A∗BC=A∗B是m∗nm∗n阶的矩阵，其中

cij=∑k=1saijbkjcij=∑k=1saijbkj

1.7 矩阵和向量的乘法

• AA为m∗nm∗n阶的矩阵，XX为n∗1n∗1阶的矩阵，则AxAx 为m∗1m∗1的列向量，记y⃗=A⋅x⃗y→=A·x→
• 由于nn维列向量和n维空间的点一一对应，上式实际给出了从nn维空间的点到mm维空间的的线性变换。
  
  • 旋转、平移

1.8 状态转移矩阵

数学解释：
设一个初始概率分布ππ（只是一个向量）
- 第n+1n+1代中处于第jj个阶层的概率为：

π(Xn+1=j)=∑i=1kπ(Xn=i)⋅P(Xn+1=j|Xn=i)π(Xn+1=j)=∑i=1kπ(Xn=i)·P(Xn+1=j|Xn=i)

=>πn+1=πn⋅P=>πn+1=πn·P

原理：全概率公式： 

参考马尔科夫过程：https://blog.csdn.net/u010459100/article/details/51657955

1.9.矩阵的秩

• 在m∗nm∗n的矩阵A中，任取kk行kk列，不改变这k2k2个元素在AA中的次序，得到kk阶方阵，称为矩阵AA的k阶子式。
• 设在矩阵A中有一个不等于00的rr阶子式DD，且所有r+1r+1阶子式全等于00（如果存在的话），那么DD称为矩阵AA的最高阶非零子式，rr称为矩阵AA的秩，记作R(A)=rR(A)=r
  
  • 如果一个矩阵|A|≠0|A|≠0那么可以说这个矩阵式满秩的
  • n∗nn∗n的可逆矩阵，秩为n
    矩阵的秩等于它的行列向量组的秩

1.91 秩和线性方程组的解的关系

对于n元线性方程组Ax = b：

• 无解的充要条件是R(A)<R(A,b)R(A)<R(A,b)
• 唯一解的充要条件是R(A)=R(A,b)=nR(A)=R(A,b)=n
• Ax= 0的只有零解的充要条件是R(A)=nR(A)=n
• 无穷解的充要条件是R(A)=R(A,b)<nR(A)=R(A,b)<n
• Ax= b有解的充要条件是R(A)=R(A,b)R(A)=R(A,b)
• Ax= 0的非零解的充要条件是R(A)<n

1.10向量组

向量b能由向量组A:a1,a2,...,amA:a1,a2,...,am线性表示的充
要条件是矩阵A=(a1,a2,...am)A=(a1,a2,...am)的秩等于矩阵
B=(a1,a2,...am,b)B=(a1,a2,...am,b)的秩。

因为有解的条件是秩相等。

B=(a1,a2,...am,b)B=(a1,a2,...am,b) = (λ1a1,λ2a2,...λnam)(λ1a1,λ2a2,...λnam)

• 若向量组A与向量组B能相互线性表示，则称两个向量组等价。

1.11系数矩阵

参考：https://blog.csdn.net/IOThouzhuo/article/details/50836787

二.特征值和特征向量

2.1正交阵

• 若nn阶矩阵A满足ATA=IATA=I,称A为正交矩阵，简称正交阵。
  
  • AA是正交阵的充要条件：A的列（行）向量都是单位向量，且两两正交。
• AA是正交阵，X为向量，则Ax称作正交变换。
  
  • 正交变换不改变向量长度。

2.2特征值和特征向量

A是n阶矩阵，若数λλ和n维非0列向量满足Ax=λxAx=λx，那么，数称为A的特征向值，x称为A的对应于特征值的λλ特征向量。

• 根据定义，立刻得到(A−λI)x=0(A−λI)x=0，令关于λλ的多项式|A−λI||A−λI|为0，方程|A−λI|=0|A−λI|=0的根为AA的特征值；将根λ0λ0带入方程组(A−λI)x=0(A−λI)x=0，求得到的非零解，即λ0λ0对应的特征向量。
• 设nn阶矩阵A=(aij)A=(aij)的特征值为λ1,λ2,...λnλ1,λ2,...λn,则
  
  • λ1+λ2+...+λn=a11+a22+…+annλ1+λ2+...+λn=a11+a22+…+ann
  • λ1  λ2… λn=|A|λ1  λ2… λn=|A|
    
    • 矩阵A的主行列式的元素和，称作矩阵A的迹 

推论：

不同特征值对应的特征向量，线性无关。

实对称阵的特征值也是实数。

实对称阵不同的特征值的特征向量正交

2.3 合同变换

设A为n阶对称阵，则必有正交阵P，使得

 

2.4.正定阵

对于nn阶方阵AA，若任意nn阶向量xx，都有xTAx>0xTAx>0，则称AA是正定阵。

• 由一阶推广而来：x⋅a⋅x=ax2>0−−>a>0x⋅a⋅x=ax2>0−−>a>0
• 若条件变成xTAx≥0xTAx≥0，则AA称作半正定矩阵。

---

正定阵的判定：
- 对称阵A为正定阵；
- A的特征值都为正；
- A的顺序主子式大于0；

2.5 漂白/白化whitening

暂定

三. 矩阵求导

参考：https://blog.csdn.net/IOThouzhuo/article/details/50836787