机器学习-特征选择

数据降维

1.特征选择

2.主成分分析

 

特征选择的原因:冗余:部分特征的相关度高,容易消耗计算性能

                             噪声:部分特征对预测结果有影响

1.1特征选择

方法:Filter(过滤式) variance Threshold 方差选择: 指定方差大小,比如删除低方差的特征,因为这样的特征数据波动小,无参考性

用VarianceThreshold做特征抽取

from sklearn.feature_selection import VarianceThreshold

def var():
    """
    方差
    :return:
    """
    var = VarianceThreshold(threshold=0.0)  #默认删除方差为0的特征
    data = var.fit_transform([[0, 2, 0, 3],
                              [0, 1, 4, 3],
                              [0, 1, 1, 3]])
    print(data)
    return None

if __name__ == "__main__":
    var()

运行结果:

[[2 0]
 [1 4]
 [1 1]]

1.2主成分分析

PCA(Principal Component Analysis)分析,简化数据集的技术。

  目的:是数据维数压缩,尽可能降低原数据的维数(复杂度),损失少量信息。

  作用:可以削减回归分析或者聚类分析发特征数量

找到最好的一条直线

把红色的数据点投到过原点的直线变成一维数据(降维),这样还能保持原特征

PCA(n_components=None)

n_components 小数的形式(0~1) 保留90%~95%的数据

,整数形式(不常使用) 减少到的特征数量

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值