一句话理解线性代数中矩阵、相似矩阵、特征值、特征向量、主成分分析等物理意义

$Ax=b$：矩阵A把任意一个向量x变成另一个方向或长度不同（或相同）的新向量b。x在A的每一行（每个基）上投影，获得这个方向上的分量。如果A是数据阵，那么A的每一行在x方向上的投影表示为x的第i个位置。

$Ax=b$的解：如果所有分量线性无关，就能表示整个空间，有唯一解；如果存在相关，可能无解，也可能多解（相当于两个或几个可以交流，分配对b的贡献）。

特征值与特征向量：如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。

相似矩阵：$P^{1}AP=B$ or $AP=PB$，在线性代数中，矩阵可以把一个向量变换到另一个位置，同样的变换，只不过使用了不同的坐标系。线性代数中的相似矩阵实际上就是要使这些相似的矩阵有一个好看的外表，而不改变其变换的功用。

变换矩阵的基：一个变换矩阵的所有特征向量组成了这个变换矩阵的一组基。所谓基，可以理解为坐标系的轴。我们平常用到的大多是直角坐标系，在线性代数中可以把这个坐标系扭曲、拉伸、旋转，称为基变换。

$Ax=\lambda x$：x在解空间上的投影分量合成的向量方向不变。

主成分分析的意义：我们可以按需求去设定基，但是基的轴之间必须是线性无关的，也就是保证坐标系的不同轴不要指向同一个方向或可以被别的轴组合而成，否则的话原来的空间就“撑”不起来了。在主成分分析（PCA）中，我们通过在拉伸最大的方向设置基，忽略一些小的量，可以极大的压缩数据而减小失真。变换矩阵的所有特征向量作为空间的基之所以重要，是因为在这些方向上变换矩阵可以拉伸向量而不必扭曲和选择它，使得计算大为简单。因此特征值固然重要，但我们的终极目标却是特征向量。

机器学习中的主成分分析：n个m维向量构成n*m的矩阵，最大特征值对应的m维特征向量为$a_1$、$a_2$…每个点与$a_i$点乘得到的值为每个点在这个方向上投影的大小，表明了在这个方向上的特征大小。

再次说明，矩阵不等于变换，把矩阵看成变换只是提供一个理解变换矩阵的方法。或者，我们可以认为，矩阵只是变换的一种变现形式。