Python无监督学习2

降维、特征提取与流形学习

为了实现数据变换的那些目的，最常用的算法就是主成分分析。以及另外两种算法：用于特征提取的非负矩阵分解 NMF、用于二位散点图可视化的 t-SNE

1.主成分分析

主成分分析（principal component analysis, PCA）是一种旋转数据集的方法，旋转后的特征在统计上不相关。通常是根据特征对解释数据的重要性来选择它的一个子集。

mglearn.plots.plot_pca_illustration()
plt.show()

 

 成分1标记的地方是数据中包含最多信息的方向，沿着这个方向的特征之间最为相关。利用这一过程找到的方向称为主成分，一般来说，主成分个数与原始特征相同。然后将成分旋转到与坐标轴平行，旋转前，从数据中减去平均值，使得变换后的数据以零为中心。两个成分是不相关的，对于这种数据表示，除了对角线，相关矩阵全为零。

图3只保留第一个主成分。图4位于原始空间，这种变换有时用于除去数据中的噪声影响，或者将主成分中保留的那部分信息可视化。

1.1将 PCA 应用于 cancer 数据集并可视化

PCA最常见的用法就是将高维数据可视化，对于特征超多的数据集，我们可以使用一种更简单的可视化方法----对每个特征分别计算两个类别的直方图。

from sklearn.datasets import load_breast_cancer
cancer = load_breast_cancer()
fig, axes = plt.subplots(15, 2, figsize=(10, 20))
malignant = cancer.data[cancer.target == 0]
benign = cancer.data[cancer.target == 1]
ax = axes.ravel()
for i in range(30):
    _, bins = np.histogram(cancer.data[:, i], bins=50)
    ax[i].hist(malignant[:, i], bins=bins, color=mglearn.cm3(0), alpha=.5)
    ax[i].hist(benign[:, i], bins=bins, color=mglearn.cm3(2), alpha=.5)
    ax[i].set_title(cancer.feature_names[i])
    ax[i].set_yticks(())
ax[0].set_xlabel("Feature magnitude")
ax[0].set_ylabel("Frequency")
ax[0].legend(["malignant", "benign"], loc="best")
fig.tight_layout()
plt.show()

 

 这里我们为每个特征创建一个直方图，计算具有某一特征的数据点在特定范围内的出现频率。但是这种图无法向我们展示变量之间的相互作用以及这种相互作用与类别之间的关系。利用PCA，我们可以获取到主要的相互作用，并得到稍微完整的图像。我们可以找到前两个主成分，并在这个新的二维空间中用散点图将数据可视化。

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
scaler.fit(cancer.data)
X_scaled = scaler.transform(cancer.data)

 学习并应用PCA变换与应用预处理变换一样简单。我们将PCA对象实例化，调用 fit 方法找到主成分，然后调用 transform 来旋转并降维。默认情况下，PCA仅旋转数据，但保留所有的主成分。为了降低数据的维度，我们需要在创建对象时指定想要保留的主成分个数。

from sklearn.decomposition import PCA
# 保留数据的前两个主成分
pca = PCA(n_components=2)
# 对数据拟合PCA模型
pca.fit(X_scaled)
# 将数据变换到前两个主成分的方向上
X_pca = pca.transform(X_scaled)
print("Original shape: {}".format(str(X_scaled.shape)))
print("Reduced shape: {}".format(str(X_pca.shape)))

现在对前两个主成分作图

plt.figure(figsize=(8, 8))
mglearn.discrete_scatter(X_pca[:, 0], X_pca[:, 1], cancer.target)
plt.legend(cancer.target_names, loc="best")
plt.gca().set_aspect("equal")
plt.xlabel("First principal component")
plt.ylabel("Second principal component")
plt.show()

 

PCA观察数据中的相关性，此图中可以看到恶性点比良性点更加分散。 PCA的一个缺点在于，通常不容易对图中的两个轴做出解释。主成分对应于原始数据中的方向，所以他们时原始特征的组合。在拟合过程中，主成分被保存在PCA对象的 components_ 属性中。

print("PCA component shape: {}".format(pca.components_.shape))

行对应主成分，列对应PCA的原始特征属性。

print("PCA components:\n {}"