数据挖掘中常用的基本降维思路及方法总结

最新推荐文章于 2024-01-26 19:35:19 发布

数据STUDIO

最新推荐文章于 2024-01-26 19:35:19 发布

阅读量1.4k

点赞数 1

文章标签：算法数据挖掘大数据机器学习人工智能

本文链接：https://blog.csdn.net/weixin_46275180/article/details/118534795

版权

????点击关注｜选择星标｜干货速递????

大多数情况下，面临高维数据，就要降维处理

根据一定的规则和经验，直接选取原有维度的一部分参与后续的计算和建模过程，用选择的维度代替所有维度。优势是既能满足后续数据处理和建模要求，又能保留维度原本的业务含义，以便业务理解和应用。

经验法：根据业务专家或数据专家的以往经验、实际数据情况、业务理解程度等进行综合考虑。

测算法：通过不断测试多种维度选择参与计算，通过结果来反复验证和调整，并最终找到最佳特征方案。

基于统计分析方法：通过相关分析不同维度间的线性关系，在相关性高的维度中进行人工去除或筛选

方差过滤：classs sklearn.feature_selection.VarianceThreshold(threshold=0.0) .fit_transform(X,y)
卡方过滤：原假设是相互独立 SelectKBest(chi2,k).fit_transform(X,y)
F检验：原假设是不存在显著的线性关系 SelectKBest(f_classif,k).fit_transform(X,y)
通过计算不同维度间的互信息，找到具有较高互信息的特征集，然后去除或留下其中一个。SelectKBest(model,k).fit_transform(X,y) 其中 model=multual_info_classif 或 multual_info_regression

机器学习算法：通过机器学习算法得到不同特征的特征值或权重，选择权重较大的特征。

嵌入法：精确度模型本身，是过滤法的进阶版。
sklearn.feature_selection.SelectFromModel(sklearn.ensemble.RandomForestClassifier(),threshold=0.01).fit_transfrom(X,y)
包装法：
sklearn.feature_selection.RFE(sklearn.SVM.SVC(),k).fit_transfrom(X,y)

按照一定的数学变换方法，把给定的一组相关变量（特征）通过数学模型将高维空间数据点映射到低维空间中，然后用映射后到变量的特征来表示原有变量的总体特征。这种方式是一种产生新维度的过程，转换后的维度并非原有的维度本体，而是其综合多个维度转换或映射后的表达式。

PCA (Principal Component Analysis) sklearn.decomposition.PCA(n_components=None,whiten=False)

from sklearn.decomposition import PCA
pca=PCA().fit()
pca.components_ # 返回模型各个特征向量
pca.explained_variance_ratio_ # 返回各自成分的方差百分比

图片来源网络

按照一定的数学变换方法，把给定的一组相关变量（特征）通过线性变换转换成另一组不相关的变量，这些新变量按照方差依次递减的顺序排列。方法越大，包含的信息越多。（无监督式学习，从特征的协方差角度，去选择样本点投影具有最大方差方向）n维可用。

所谓主成分：选出比原始变量个数少、能够解释数据中大部分的变量的几个新变量，来替换原始变量进行建模。

PCA是将数据投影到方差最大的几个相互正交的方向上，以期待保留最多的样本信息。

PCA算法

1，将原始数据按列组成行列矩阵
2，将的每一行（代表一个属性字段）进行标准化处理。
3，求出相关系数矩阵
4，求出的特征值及对应的特征向量
5，将特征向量按对应特征值大小从上到下按行排列成矩阵，取前行组成矩阵
6，

,

LDA (Linear Discriminant Analysis)

通过已知类别的“训练样本”，来建立判别准则，并通过预测变量来为已知数据进行分类。（有监督式学习，考虑分类标签信息，投影后选择分类性能最好的方向） C-1维（分类标签数-1）

基本思想是将高维数据的模式样本投影到最佳鉴别矢量空间，已到达抽取分类信息和压缩特征空间维度的效果。投影后保证模式样本在新子空间的类空间距离和最小的类距离，集模式在该空间中有最佳可分离性。

使样本尽可能好分的投影方向，就是要使投影后使得同类样本尽可能近，不同类样本尽可能远。

图片来源网络

将输入特征与目标预测变量做拟合的过程，它将输入特征经过运算，并得出能对目标变量作出很好解释（预测性）对复合特征，这些特征不是原有对单一特征，而是经过组合和变换后的新特征。

优点： 提高模型准确率、降低噪声干扰（鲁棒性更强）、增加了对目标变量的解释性。

方法：

基于单一特征离散化后的组合。 现将连续性特征离散化后组合成新的特征。如RFM模型
基于单一特征的运算后的组合。 对于单一列基于不同条件下获得的数据记录做求和、均值等获得新特征。
基于多个特征的运算后的组合。 将多个单一特征做复合计算（包括加减乘除对数等），（一般基于数值型特征）获得新特征。
基于模型等特征最优组合。 基于输入特征与目标变量，在特定的优化函数的前提下做模型迭代计算，以到达模型最优的解。如多项式的特征组合、基于GBDT的特征组合。

GBDT

sklearn.ensemble.GradientBoostingClassifier(
        ).fit(X,y).apply(X)[:,:,0]

apply()返回的是
[n_samples,n_estimators, n_classes]

多项式

sklearn.preprocessing.\
PolynomialFeatures.fit_transform(X,y
                    ).get_feature_names()

Ok，今天的分享就到这里啦，更多原创好文，请关注数据STUDIO！