机器学习基础DAY3

第三章 数据降维

方式：1.特征选择 2.主成分分析
1.特征选择
（1）原因：
冗余：部分特征的相关度高，容易消耗计算性能
噪声：部分特征对预测结果有负影响
（2）定义：
特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值、也不改变值，但是选择后的特征维数肯定比选择前小，毕竟我们只选择了其中的一部分特征。
（3）主要方法（三大武器）：
1,Filter(过滤式):VarianceThreshold
######API:sklearn.feature_selection.VarianceThreshold
####VarianceThreshold(threshold = 0.0)
删除所有低方差特征
Variance.fit_transform(X,y)
X:numpy array格式的数据[n_samples,n_features]
返回值：训练集差异低于threshold的特征将被删除。默认值是保留所有非零方差特征，即删除所有样本中具有相同值的特征。

from sklearn.feature_selection import VarianceThreshold
def var():
    '''删除低方差的特征'''
    var= VarianceThreshold(threshold=0.0)
    data=var.fit_transform([[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]])
    print(data)
    return None
if __name__=="__main__":
    var()

结果：

[[2 0]
 [1 4]
 [1 1]]

进程已结束,退出代码0

2, Embedded(嵌入式)：正则化、决策树
3,Wrapper(包裹式)
上面这两种后面再细说

2.主成分分析
本质：PCA是一种分析、简化数据集的技术
目的：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。
作用：可以削减回归分析或者聚类分析中特征的数量
######API： sklearn. decomposition
#### PCA(n_components=None)
将数据分解为较低维数空间
####PCA.fit_transform(X)
X:numpy array格式的数据[n_samples,n_features]
返回值：转换后指定维度的array
注：n_components是小数（保留的成分占比，人为可控，一般在90%~95%）或者整数(减少到的特征数量，一般不填整数）

from sklearn.decomposition import PCA
def pca():
    '''主成分分析进行特征降维'''
    pca=PCA(n_components=0.9)
    data=pca.fit_transform([[2,8,4,5],[6,3,0,8],[5,4,9,1]])
    print(data)
    return None
if __name__=="__main__":
     pca()

结果：

[[-3.13587302e-16  3.82970843e+00]
 [-5.74456265e+00 -1.91485422e+00]
 [ 5.74456265e+00 -1.91485422e+00]]

进程已结束,退出代码0