sklearn实现lda模型_运用sklearn进行线性判别分析(LDA)代码实现

最新推荐文章于 2024-07-22 09:31:55 发布

短尾巴的松鼠

最新推荐文章于 2024-07-22 09:31:55 发布

阅读量1.5k

点赞数 1

文章标签： sklearn实现lda模型

本文链接：https://blog.csdn.net/weixin_34061241/article/details/112012114

版权

本文介绍如何利用sklearn库中的LDA进行有监督的数据降维，通过葡萄酒数据集展示了LDA在分类任务中的应用，相较于PCA，LDA在考虑分类标签的情况下能更好地提升模型性能。

摘要由CSDN通过智能技术生成

基于sklearn的线性判别分析(LDA)代码实现

一、前言及回顾

本文记录使用sklearn库实现有监督的数据降维技术——线性判别分析(LDA)。在上一篇LDA线性判别分析原理及python应用(葡萄酒案例分析)，我们通过详细的步骤理解LDA内部逻辑实现原理，能够更好地掌握线性判别分析的内部机制。当然，在以后项目数据处理，我们有更高效的实现方法，这篇将记录学习基于sklearn进行LDA数据降维，提高编码速度，而且会感觉更加简单。

学习之后可以对数据降维处理两种实现方法进行对比：

二、定义分类结果可视化函数

这个函数与上一篇文章运用sklearn进行主成分分析(PCA)代码实现里是一样的，plot_decision_region函数在分类结果区别决策区域中可以复用。

def plot_decision_regions(x, y, classifier, resolution=0.02):

markers= ['s', 'x', 'o', '^', 'v']

colors= ['r', 'g', 'b', 'gray', 'cyan']

cmap=ListedColormap(colors[:len(np.unique(y))])

x1_min, x1_max= x[:, 0].min() - 1, x[:, 0].max() + 1x2_min, x2_max= x[:, 1].min() - 1, x[:, 1].max() + 1xx1, xx2=np.meshgrid(np.arange(x1_min, x1_max, resolution), np.arange(x2_min, x2_max, resolution))

z=classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T)

z=z.reshape(xx1.shape)

plt.contourf(xx1, xx2, z, alpha=0.4, cmap=cmap)for idx, cc inenumerate(np.unique(y)):

plt.scatter(x=x[y ==cc, 0],

y=x[y == cc, 1],

alpha=0.6,

c=cmap(idx),

edgecolor='black',

marker=markers[idx],

label=cc)

三、10行代码实现葡萄酒数据集分类

sklearn依然实现了LDA类方法，我们只需要直接调用而无需自己实现内部逻辑，这样显得更加方便。所以，10行代码实现也不为过，重点需要先理解内部逻辑原理。

关键代码如下：

lda = LDA(n_components=2)

lr=LogisticRegression()

x_train_lda= lda.fit_transform(x_train_std, y_train) #LDA是有监督方法，需要用到标签

x_test_lda = lda.fit_transform(x_test_std, y_test) #预测时候特征向量正负问题，乘-1反转镜像

lr.fit(x_train_lda, y_train)

plot_decision_regions(x_train_pca, y_train, classifier=lr)

plt.xlabel('LD1')

plt.ylabel('LD2')

plt.legend(loc='lower left')

plt.show()

使用训练集拟合模型之后，分类效果如何呢？

可以看到模型对训练数据集精确地分类，比PCA效果好，因为LDA使用了数据集的标签，是有监督的学习。

更准确来说，我们要看模型在测试集上的效果，对比如下：

可见，经过逻辑回归分类器，提取了两个最具线性判别性的特征，将包含13个特征的葡萄酒数据集投影到二维子空间，实现了精确地分类。

四、完整代码

from sklearn.linear_model importLogisticRegressionfrom sklearn.discriminant_analysis importLinearDiscriminantAnalysis as LDAfrom sklearn.preprocessing importStandardScalerfrom sklearn.model_selection importtrain_test_splitfrom matplotlib.colors importListedColormapimportmatplotlib.pyplot as pltimportpandas as pdimportnumpy as npdef plot_decision_regions(x, y, classifier, resolution=0.02):