主成分分析碎石图_无监督机器学习算法：主成分分析

之前我们曾经讲过，无监督学习是一种不使用标记数据（无目标变量）的机器学习。因此，算法的任务是在数据本身中寻找模式。无监督机器学习算法的两种主要类型分别是使用主成分分析的降维算法和聚类算法（包括K-Means和层次聚类算法）。下面将依次介绍这些内容。

主成分分析

降维是一种重要的无监督学习方法，在实践中得到了广泛的应用。当数据集中有许多特征时，可视化地表示数据或将模型拟合到数据中可能会变得非常复杂。在这种情况下，可能需要降维。降维的目的是通过一组更小的特征来表示具有许多(通常存在相关性)特征的数据集，这些特征仍然可以很好地描述数据。

主成分分析(PCA)是一种最常见降维统计方法。PCA将高度相关的多个数据特征减少到几个主要的、不相关的复合变量。复合变量是将两个或多个在统计上紧密相关的变量组合在一起的变量。PCA涉及到特征的协方差矩阵的变换，在这里会有两个关键的概念：特征向量和特征值。特征向量定义了新的、相互不相关的复合变量，它们是原始特征的线性组合。作为一个向量，一个特征向量也代表着一个方向。与每个特征向量相关的是一个特征值。一个特征值给出了初始数据中总方差的比例，该比例由每个特征向量来解释。PCA算法根据特征值将特征向量从高到低排序——也就是说，根据它们在解释初始数据的总方差方面的有用性程度排序。主成分分析选择解释数据集中变化比例最大的特征向量(特征值最大的特征向量)作为第一个主成分。第二主成分解释了在第一主成分之后的下一个最大的方差比例;接着是第三、第四和其后的主要成分。由于主成分是初始特征集的线性组合，通常只需要几个主成分就可以解释初始特征协方差矩阵中大部分的总方差。
下表显示了一个具有三个特征的假设数据集，因此它是沿着x、y和z轴在三维空间中绘制的。每个数据点都有一个测量值(x、y、z)。首先我们将数据进行标准化，以便每个系列(x、y、z)的均值为0，标准偏差为1。假设我们通过PCA，