典型相关分析和主成分分析

目标

• 主成分分析（PCA）：

  • 目标：降低数据维度，减少数据的冗余，通过线性变换将原始变量转换为一组新的不相关的变量（主成分）。
  • 重点：最大化数据的方差，即每个主成分解释的总方差最大化。

• 典型相关分析（CCA）：

  • 目标：分析两组变量之间的线性关系，找到两组变量之间的最大相关方向。
  • 重点：最大化两组变量投影后的相关性。

输入数据

• 主成分分析（PCA）：

  • 输入：单组变量，通常是同一组数据中的多个测量指标。
  • 输出：一组新的变量（主成分），这些变量是原始变量的线性组合，且彼此不相关。

• 典型相关分析（CCA）：

  • 输入：两组变量，这两组变量可以是来自不同数据集或不同来源的测量指标。
  • 输出：两组新的变量（典型变量），每组变量是原始变量的线性组合，且这两组变量之间的相关性最大化。

数学表示

• 主成分分析（PCA）：

  • 数学目标：最大化 ，其中 a 是特征向量，X是原始数据。

  • 求解方法：求解协方差矩阵的特征值和特征向量。

• 典型相关分析（CCA）：

  • 数学目标：最大化 ，其中a和b是特征向量，X和Y是两组变量。
  • 求解方法：求解广义特征值问题。

结果解释

• 主成分分析（PCA）：

  • 结果：得到一组主成分，每个主成分解释的总方差逐步减少。
  • 解释：主成分的数量通常等于原始变量的数量，但通常只需保留前几个主成分（解释大部分方差的成分）。

• 典型相关分析（CCA）：

  • 结果：得到一组典型变量对，每对典型变量反映了两组变量之间的潜在关系。
  • 解释：典型相关系数（λiλi​​）反映了每对典型变量的相关性大小。

应用场景

• 主成分分析（PCA）：

  • 应用：数据降维，特征提取，可视化高维数据。
  • 示例：图像压缩，基因表达数据分析，市场研究中的变量简化。

• 典型相关分析（CCA）：

  • 应用：分析两组多变量数据之间的关系，如心理学研究中的问卷分析，生态学中的环境因子与生物多样性分析。
  • 示例：研究顾客特征与购买行为之间的关系，分析患者的生理指标与疾病之间的关系。

总结

• PCA 主要用于数据降维和特征提取，通过最大化数据的方差来简化数据结构。
• CCA 主要用于分析两组变量之间的线性关系，通过最大化两组变量投影后的相关性来揭示潜在的关联。