机器学习中的降维算法

1. 主成分分析 (Principal Component Analysis, PCA)

• 原理：PCA通过线性变换将数据投影到一个新的坐标系中，新坐标轴（主成分）按数据方差递减排序。前几个主成分捕获了数据中最大的方差。
• 应用：数据预处理、可视化、噪声去除。

2. 线性判别分析 (Linear Discriminant Analysis, LDA)

• 原理：LDA寻找一个投影，使得不同类别之间的分离度最大，而类别内部的散布最小。适用于有标签数据的降维。
• 应用：分类任务的数据预处理。

3. 独立成分分析 (Independent Component Analysis, ICA)

• 原理：ICA将观测数据分解成独立的非高斯信号。目标是找到使得分量彼此统计独立的线性变换。
• 应用：信号处理、图像处理、语音识别。

4. 因子分析 (Factor Analysis, FA)

• 原理：FA假设观测变量是少数未观测潜变量（因子）的线性组合，并包括误差项。它通过最大化观测数据的共同方差来识别这些因子。
• 应用：心理学和社会科学中的潜在变量分析。

5. 非负矩阵分解 (Non-negative Matrix Factorization, NMF)

• 原理：NMF分解一个非负矩阵为两个非负矩阵的乘积。结果矩阵通常代表某种形式的特征组合。
• 应用：图像处理、文本挖掘。

6. 奇异值分解 (Singular Value Decomposition, SVD)

• 原理：SVD将数据矩阵分解为三个矩阵的乘积，其中一个矩阵包含特征的奇异值。通过选择最大的奇异值，可以实现降维。
• 应用：推荐系统、图像压缩。

7. t-分布邻域嵌入 (t-Distributed Stochastic Neighbor Embedding, t-SNE)

• 原理：t-SNE通过最小化高维数据和低维映射之间的概率分布差异，实现数据的低维表示，尤其擅长保留局部结构。
• 应用：数据可视化。

8. 统一流形近似与投影 (Uniform Manifold Approximation and Projection, UMAP)

• 原理：UMAP通过建模高维数据空间中的局部邻域结构，构建低维空间中的相似结构，保留数据的全局和局部特征。
• 应用：数据可视化、聚类。

9. 自编码器 (Autoencoders)

• 原理：自编码器是一种神经网络，通过训练网络将输入压缩到低维表示（编码），然后再重建原始输入（解码）。中间的低维表示即为降维结果。
• 应用：特征学习、异常检测。

10. 随机投影 (Random Projection)

• 原理：随机投影通过将数据投影到随机生成的低维子空间，实现降维。依据约翰逊-林登斯特劳斯引理，随机投影能在一定概率上保留数据的结构。
• 应用：快速降维。