PCA降维背景介绍

背景：

向量降维是一个在多维数据分析中常见的过程，它允许我们将高维数据转换为更低维度的空间，同时尽可能保留原始数据的重要特征。这个过程通常通过向量的投影来实现，即将高维向量投影到一个低维的子空间上。

假设有一个N维向量，我们想要将它映射到一个M维的子空间中，其中M<N。这个子空间由M个基向量定义，这些基向量是互相正交（或者正交归一化）的，可以表示为。

为了将原始的N维向量OA降维到M维空间，我们需要计算OA在(M)每个基向量上的投影。这可以通过点积（也称为内积或标量积）来完成。对于每个基向量ei​​，我们计算：(i< M)

（注意：乘以 OA 而不是单独的 a1​ 向量或 a2​ 向量的原因在于这个表达式的目的是计算原始向量 OA 在基向量 ei​​ 上的投影。这里的 OA 代表的是整个原始向量，它可能是一个多维向量，比如在三维空间中，它可以表示为。在向量降维或者向量投影的上下文中，我们通常处理的是整个向量而不是它的单个分量。基向量 ei​​ 代表了新空间中的一个方向，而通过计算 OA 与每个基向量 ei​​ 的点积（或内积），我们实际上是在计算 OA 在这个新方向上的“长度”或者说投影。这个过程需要考虑 OA 的所有分量，因为我们想知道整个向量 OA 如何相对于新空间的基向量 ei​​ 进行投影。简单来说，使用整个 OA 而不是它的单个分量a1​ 或 a2​，是因为我们的目标是在新的低维空间中重新表示整个原始向量 OA，而这需要考虑 OA 的所有维度。这样，通过计算 OA 与每个基向量的点积，我们可以得到 OA 在新空间中的坐标，即 ′ai′​。这是一个从高维空间到低维空间的映射过程，它涉及到整个向量而不仅仅是它的某个单独分量。）

这里的′ai′​是OA在基向量ei​​上的投影的坐标。点积计算了向量OA在基向量ei​​方向上的分量。重复这个过程对所有的M个基向量进行计算，我们可以得到一个新的M维向量，它是原始N维向量在这个M维子空间中的表示：

从N维空间降维到M维空间时（其中M<N），我们不能保留原始向量的所有信息。降维过程通常会导致一些信息的损失，特别是当原始数据的维度远大于目标维度时。然而，通过选择合适的基向量（例如，在主成分分析中选择方差最大的方向作为基向量），我们可以尽可能多地保留最重要的信息，即使不能保留所有信息。这种方式下，降维后的M维向量尽可能地反映了原始N维向量的关键特征和结构。