《机器学习线性代数基础》Python描述——第四章笔记

上一章节第三章笔记

对于空间中向量的同一个位置变换，如果选取的基底不同，则用来进行表示的矩阵也是截然不同的，这些矩阵被称为相似矩阵，相似矩阵所表示的线性变换，叫做相似变换。

**核心概念：**对于一个指定的向量而言，它在空间中的位置是绝对的，而它的坐标值确是相对的。即对于同一个向量，如果选取的基底不同，其所对应的坐标值也不同。（相当于我们站在不同角度看一个物体，站的位置不同，看到的结果会不同）

描述线性变换的矩阵也取决于基底

一个向量可以从某个空间中的位置P移动到位置Q，在这里可以用一个特定的矩阵来表示向量空间位置的改变过程，如果选取的基底不同，同一个运动在不同基底下，显然对应的矩阵表示也是不同的。

满足A = P^-1BP，其中矩阵A和矩阵B就是我们所说的相似矩阵

我们采用一个最佳矩阵来描述向量的空间变换，即采用对角矩阵。

对角矩阵的两大优势：

1. 一个n维列向量在n阶对角矩阵的作用下，其线性变换的方式仅仅反映在各个维度上的长度拉伸，而不对应着平移或旋转变换。
2. 对角矩阵的优势之处还体现在连续的线性变换上，连续的线性变换用矩阵的乘法来表示，对于n个连续的对角矩阵A相乘，相当于每列上的元素的n次方，能够简化计算处理

一般而言，对于一个向量x，在矩阵A的作用下发生线性变换Ax = b变换后，向量x的方向和长度都会发生变化，如果矩阵A不是一个方阵，那么连向量的维度都会发生改变。而与之不同的是：从Ap = λp这个式子中，在方阵A的变换作用下，特征向量p的线性变换就是在其向量方向上进行λ倍的伸缩变换，即只有向量的长度发生了改变，但是向量的方向却未发生改变，具备了这种特殊性的向量，就能被冠之以“特征”二字。

方阵A的特征向量必须满足线性无关，这样的矩阵A才能进行对角化。

特征向量与特征值的基本几何性质

情况一：矩阵特征值为0
如果一个方阵A的某个特征值为0，那么当该矩阵作用在其对应的特征向量p上时，依照定义就有Ap = 0p = 0，这也就意味着，该矩阵的零空间中包含非零向量p，该矩阵表示的是空间压缩变换，则根据前面章节的知识，这是一个不可逆的矩阵，即奇异矩阵。

情况二：对角矩阵的情况
对一个对角矩阵
它的特征值依次为1 2 3 4 …n，各个特征值对对应的特征向量依次为
情况三：相似矩阵情况
如果矩阵A的特征向量为p，特征值为 λ，那么矩阵A的相似矩阵S^-1AS的特征值保持不变，特征值仍为 λ，而它的特征向量将发生变化，变为S^-1p。
验证：(S^-1AS)(S^-1p) = S^-1ASS^-1p = S^-1Ap = S^-1λp = λ(S^-1p)

如果一个n阶方阵A有n个两两不相同的特征值，那么这些特征值所对应的特征向量彼此之间具有线性无关的特性。

对于一个矩阵而言，两两不同的特征值肯定对应着一组线性无关的特征向量，反之，不能说相同的两个特征值所对应的特征向量就一定是线性相关的。比如单位矩阵的特征值和特征向量。

特征值与特征向量的Python求解方法：

先看一个简单的二阶方阵A = [[2,1],[1,2]]利用Python来求它的特征值和特征向量
代码展示：

A = np.array([[2, 1],
              [1, 2]])
evalue, evector = linalg.eig(A)
print(evalue)
print(evector)

结果：

注意：在Python中求出来的特征向量通常会和实际笔算出来的结果不同，并不是结果出错了，而是Python自动将结果处理成模长为1 的单位向量了。

当然也有组成的特征矩阵是不可逆的情况：
代码展示：

A = np.array([[2, 6, -1],
              [0, 4, 0],
              [0, 0, 6]])
evalue, evector = linalg.eig(A)
print(evalue)
print(evector)

结果：

总结：对于一个n阶方阵A，包括多重特征值在内，一共有n个特征值，若矩阵A一共有n个线性无关的特征向量，那么由矩阵A的特征向量组成的特征矩阵就是可逆矩阵，矩阵A就可以被对角化。