特征降维

最新推荐文章于 2024-05-16 13:34:37 发布

加油吶

最新推荐文章于 2024-05-16 13:34:37 发布

阅读量409

点赞数

分类专栏：笔记文章标签：机器学习人工智能深度学习

本文链接：https://blog.csdn.net/m0_59100129/article/details/131924024

版权

笔记专栏收录该内容

44 篇文章 0 订阅

订阅专栏

文章介绍了特征选择中的降维技术，包括低方差过滤法，通过检查特征方差来去除信息量小的特征；相关系数法，利用皮尔逊和斯皮尔曼相关系数衡量特征间的关系；以及PCA主成分分析，通过线性变换减少数据维度并去除相关性。示例代码展示了如何在鸢尾花数据集上应用这些方法。

摘要由CSDN通过智能技术生成

1、概述

用于训练的数据集特征对模型的性能有着极其重要的作用，如果训练数据中包含一些不重要的特征，可能导致模型的泛化性能不佳。

降维--是指在某些限定条件下，降低特征个数。

2、方法

低方差过滤法

如果一个特征的方差很小，说明这个特征包含的信息很少，模型很难通过该特征区分对象

2、低方差过滤法

特征方差大：某个特征很多样本的值都有差别
特征方差小：某个特征大多数样本的值都比较接近

低方差过滤——删除方差低于某些阈值的一些特征

sklearn.feature_selection.VarianceThreshold(threshold=0.0)
Variance.fit_transform(X)
# X是numpy array 格式的数据【n_samples,n_features)

在数据集中，删除方差低于threshold的特征，默认值是保留所有非零方差特征，即删除所有样本中具有相同值的特征。

3、相关系数法

两两变量之间计算相关性，越接近于1，越相关。

皮尔逊相关系数的计算公式：

from scipy.stats import pearsonr

斯皮尔曼相关系数：

from scipy.stats import spearmanr

上面公式中，di为样本中不同特征在数据中排序的序号差值（相同时就取排序的均值），计算举例如下所示：

import pandas as pd
from sklearn.feature_selection import VarianceThreshold
from scipy.stats import pearsonr
from scipy.stats import spearmanr
from sklearn.datasets import load_iris
import pandas as pd

pd.set_option('display.max_columns',None)
pd.set_option('display.max_rows',None)
pd.set_option('display.width',1000)

if __name__=='__main__':
    # 读取数据集
    data = load_iris()
    data = pd.DataFrame(data.data, columns=data.feature_names)
    
    #皮尔逊相关系数
    p_corr = pearsonr(data['sepal length (cm)'],data['sepal width (cm)'])
    print(p_corr,'皮尔逊相关系数：',p_corr[0],'不相关概率:',p_corr[1])

    #斯皮尔曼相关系数
    s_corr = spearmanr(data['sepal length (cm)'],data['sepal width (cm)'])
    print(s_corr,'皮尔逊相关系数：',s_corr[0],'不相关概率:',s_corr[1])

    #使用DataFrame的corr方法计算相关性
    print(data.corr('pearson'))
    print(data.corr('spearman'))

4、主成分分析PCA

通过对数据维数进行压缩，尽可能降低原数据的维数（复杂度），损失少量信息，在此过程中可能会舍弃原有数据、创造新的变量。

from sklearn.decomposition import PCA
from sklearn.datasets import load_iris

if __name__ == '__main__':
    #加载数据集
    x,y = load_iris(return_X_y=True)
    print(x[:5])

    # 指定保留信息的比例
    transformer = PCA(n_components=0.95)
    x_pca = transformer.fit_transform(x)    
    print(x_pca[:5])

    # 另一种方法，保留指定数量的特征
    transformer = PCA(n_components=3)
    x_pca = transformer.fit_transform(x)
    print(x_pca[:5])