【sklearn学习】降维算法PCA和SVD

sklearn中的降维算法

主成分分析

独立成分分析

• decomposition.PCA

class sklearn.decomposition.PCA(n_components=None, *, copy=True, whiten=False, svd_solver='auto', tol=0.0, iterated_power='auto', random_state=None)

PCA使用的信息衡量指标，就是样本方差，又称为可解释性方差，方差越大，特征所带的信息量越多。

n_components是降维后需要的维度，即降维后需要保留的特征数量

当该参数不填写任何值，则默认返回min(X.shape)个特征

>>> import numpy as np
>>> from sklearn.decomposition import PCA
>>> X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
>>> pca = PCA(n_components=2)
>>> pca.fit(X)
PCA(n_components=2)
>>> print(pca.explained_variance_ratio_)
[0.9924... 0.0075...]
>>> print(pca.singular_values_)
[6.30061... 0.54980...]

累计可解释方差贡献率曲线

pca_line = PCA().fit(X)

pca_line.explained_variance_ratio_

 n_components = 'mle' 可以自己选择最好的特征数量

>>> import numpy as np
>>> from sklearn.decomposition import PCA
>>> X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
>>> pca = PCA(n_components='mle')
>>> pca.fit(X)
PCA(n_components=2)

按信息量的占比选超参数

输入[0,1]之间的浮点数，并且让参数svd_solver = 'full'

pca_f = PCA(n_component=0.97, svd_solver='full'
pca_f = pca_f.fit(x)
X_f = pca_f.transform(X)

pca_F.explained_variance_ratio_.sum()

svd_solver的取值

“auto”：基于X.shape和n_components的默认策略来选择分类器

“full”：调用LAPACK分解器来生成精确完整的SVD，适合数据量不大或时间充足的情况

"arpack":调用ARPACK分解器来运行截断奇异值分解，可以加快运算速度

“randomized”:随机SVD,适合特征矩阵巨大，计算量庞大的情况。