特征工程之特征选择(7)----降维算法PCA重要参数

序言

前面一篇博文，我们已经了解了PCA的基本使用方法，但是对其中的参数，属性，我们还没有深入了解，这篇文章，我们将深入了解PCA的参数

关于参数n_components的简单概述

n_components参数决定了我们降维后需要保留的参数的个数。默认值为min(X.shape) 。
n_components有三种形式的值：

• 整数类型：n_components的输入值范围为[0-min(X.shape)]，这种方式是人为确定留下的特征个数，容易遇到的问题是：保留的特征信息量不够大，解决办法：可解释性方差曲线 选取超参数
• mle ：最大似然估计(maximum likelihood estimator), 可以让PCA自动选择最佳的参数，缺点耗时很大
• 信息量占比 ：取值在[0-1]，最后保留下来的特征的信息量占总信息量的比例大于该值。需要注意的是使用这种方式时需要让参数svd_solver=‘full’， 表示希望降维后的总解释性方差大于指定的百分比。

准备工作

导入相关的模块

# 准备工作啊，导入相关的模块
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import cross_val_score
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# %matp