预处理--python实现scikit-learn的核主成分分析（核PCA）-分离半月形

python实现用scikit-learn的核主成分分析（核PCA）-分离半月形

如果面对的是非线性问题（在现实世界中可能会遇到相当多这样的问题），像PCA和LDA这样的线性变换降维技术可能并不是最好的选择。 现介绍涉及核支持向量机的概念的核版PCA，或叫作 KPCA。讨论如何利用核PCA把不可线性分离的数据转换至适合线性分类器的新的低维子空间。

from sklearn.decomposition import KernelPCA
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_moons

# 创建二维数据集，其中100个样本组成两个半月形
X, y = make_moons(n_samples=100, random_state=123)
plt.scatter(X[y == 0, 0], X[y == 0, 1],
            color='red', marker='^', alpha=0.5)
plt.scatter(X[y == 1, 0], X[y == 1, 1],
            color='blue', marker='o', alpha=0.5)
plt.show()
scikit_kpca = KernelPCA(n_components=2, kernel='rbf', gamma=15)
X_skernpca = scikit_kpca.fit_transform(X)

plt.scatter(X_skernpca[y == 0, 0], X_skernpca[y == 0, 1],
            color='red', marker='^', alpha=0.5)
plt.scatter(X_skernpca[y == 1, 0], X_skernpca[y == 1, 1],
            color='blue', marker='o', alpha=0.5)

plt.xlabel('PC1')
plt.ylabel('PC2')
plt.tight_layout()
# plt.savefig('images/05_19.png', dpi=300)
plt.show()

运行结果图：
三角形符号的半月代表一类样本，而圆符号的半月代表另一类，这两个半月形显然不能线性可分

线性可分：