机器学习降维方法概括

最新推荐文章于 2025-06-11 20:52:12 发布

繁拾简忆

最新推荐文章于 2025-06-11 20:52:12 发布

阅读量3.4w

点赞数 8

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：特征降维 LASSO PCA LDA 拉普拉斯

本文链接：https://blog.csdn.net/u014772862/article/details/52335970

本文概述了常见的机器学习降维方法，包括LASSO的参数缩减、PCA的主成分分析、小波分析、线性判别LDA、拉普拉斯映射、深度学习中的SparseAutoEncoder、矩阵奇异值分解SVD、局部线性嵌入LLE以及等距映射Isomap，旨在帮助理解并选择合适的降维策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近刷题看到特征降维相关试题，发现自己了解的真是太少啦，只知道最简单的降维方法，这里列出了常见的降维方法，有些算法并没有详细推导。特征降维方法包括：Lasso，PCA，小波分析，LDA，奇异值分解SVD，拉普拉斯特征映射，SparseAutoEncoder，局部线性嵌入LLE，等距映射Isomap。

1. LASSO通过参数缩减达到降维的目的。

LASSO(Least absolute shrinkage and selection operator, Tibshirani(1996))
该方法是一种压缩估计，通过构造一个罚函数得到一个较为精炼的模型，使得压缩一些系数，同时设定一些系数为零。英雌保留了子集收缩的优点，，是一种处理具有复共线性数据的有偏估计。Lasso 的基本思想是在回归系数的绝对值之和小于一个常数的约束条件下，使残差平方和最小化，从而能够产生某些严格等于 0 的回归系数，得到可以解释的模型。

2. 主成分分析PCA

PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。
设有m条n维数据。

1）将原始数据按列组成n行m列矩阵X
2）将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值
3）求出协方差矩阵C=\frac{1}{m}XX^\mathsf{T}
4）求出协方差矩阵的特征值及对应的特征向量
5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P
6）Y=PX即为降维到k维后的数据

PCA降维过程请参考http://www.cnblogs.com/zhangchaoyang/articles/2222048.html