特征降维是无监督学习的另一个应用,目的有两点:其一就是我们经常会在时间项目中面对特征维度非常高的训练样本,二往往又无法借助自己的领域知识人工构建有效特征;其二就是在数据表现方面,我们无法用肉眼观测超过三个维度的特征。因此降低维度不仅仅重构了有效的低维度特征向量,同时也为数据展现提供了可能。在特征降低维度的算法中,主成分分析是最为经典和实用的特征降低维度的方法,特别在辅助图像识别方面有突出的表现。
例子
import numpy as np;
import pandas as pd;
digits_train = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tra', header = None)
digits_test = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tes', header = None)
X_digits = digits_train[np.arange(64)]
y_digits = digits_train[64]
from sklearn.decomposition import PCA
estimator = PCA(n_components = 2)
X_pca = estimator.fit_transform(X_digits)
from matplotlib import pyplot as plt;
def plot_pca_scatter():
colors = ['black', 'blue', 'purple', 'yellow', 'white', 'red', 'lime', 'cyan', 'orange', 'gray']
for i in xrange(len(colors)):
px = X_pca[:, 0][y_digits.as_matrix() == i]
py = X_pca[:, 1][y_digits.as_matrix() == i]
plt.scatter(px, py, c = colors[i])
plt.legend(np.arange(0, 10).astype(str))
plt.xlabel('Fitrst Princlple Component')
plt.ylabel('Second Principle Component')
plt.show()
plot_pca_scatter()