2020/1/26
数据降维
其实就是数据特征数量的减少,和数组的维度根本不一样。对于数据降维有两个方法:
1.特征选择
2.主成分分析
特征选择
就是选择部分特征用来当作机器学习的数据。
选择特征选择的原因:
- 冗余:部分特征相似,关联度高。容易消耗计算性能,可以不需要。
- 噪声:部分特征对预测结果有很大的影响
特征选择的工具
Filter(过滤式):VarlanceThreshold (Varlance方差)
其实就是通过方差大小考虑所有样本这个特征的方差情况。
Embedded(嵌入式):正则化,决策树
Wrapper(包裹式,用的少)
神经网络
skilearn.feature_selection.VarianceThreshold
- VarianceThreshold(threshold = 0.0) :删除所有低方差特征
- Varlance.fit_transform(x): X:numpy array格式的数据,返回一个方差非0特征的数集。也就是删除所有方差为0的特征(删除所有相同值得特征)
from sklear.feature_selection import VarlanceThreshold
def var():
va = VarlanceThreshold