机器学习 --2 特征预处理 之 数据将维

特征选择

• 概念
  特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值、也不改变值，但是选择后的特征维数肯定比选择前小，毕竟我们只选择了其中的一部分特征。

• 方差过滤式

# 按照方差过滤
from sklearn.feature_selection import VarianceThreshold

# 特征选择第一种方式:过滤式
# 方差特征选择  删除低方差特征
def var():
    # 指定方差阈值
    var = VarianceThreshold(threshold=0.0)
    data = var.fit_transform([[0, 2, 0, 3],
                              [0, 1, 4, 3],
                              [0, 1, 1, 3]])
    print(data)
    return None

if __name__=='__main__':
    var()
    

• PCA降维

# 按照方差过滤
from sklearn.feature_selection import VarianceThreshold
# 主成分分析
from sklearn.decomposition import PCA


# 特征选择第一种方式:过滤式
# 方差特征选择  删除低方差特征
def var():
    # 指定方差阈值
    var = VarianceThreshold(threshold=0.0)
    data = var.fit_transform([[0, 2, 0, 3],
                              [0, 1, 4, 3],
                              [0, 1, 1, 3]])
    print(data)
    return None


# 主成分分析进行特征降维
# 再使用pca进行降维的时候数据本身的值也会被改变
def pca():
    # n_components 在填入小数的时候表示要降维的百分比  填入数字则表示要降到多少个维度
    pca = PCA(n_components=0.9)
    data = pca.fit_transform([[2, 8, 4, 5],
                              [6, 3, 0, 8],
                              [5, 4, 9, 1]])
    print(data)
    return None


if __name__ == '__main__':
    var()
    pca()