统计学补充概念-14-LDA线性判别分析

概念

线性判别分析（Linear Discriminant Analysis，LDA）是一种用于降维和分类的统计方法。与名称中的“线性”相关，LDA的主要目标是在保持类别信息的同时，通过线性变换将数据投影到一个低维子空间中。

LDA在解决分类问题时与逻辑回归类似，但它在一些方面有所不同。主要的区别包括：

目标：LDA的主要目标是找到一个投影，将数据从原始特征空间投影到一个新的低维子空间，使得类别之间的差异最大化，同时类内的差异最小化。逻辑回归则是直接通过学习一个决策边界来进行分类。

输出：LDA产生的是一组线性判别函数，可以用于分类。逻辑回归则输出样本属于某个类别的概率。

假设：LDA假设类别的协方差矩阵相等，这称为“同方差假设”。逻辑回归则没有这个假设。

代码实现

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 生成虚拟数据集
X, y = make_classification(n_samples=200, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1)

# 划分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建LDA模型
model = LinearDiscriminantAnalysis()

# 在训练集上训练模型
model.fit(X_train, y_train)

# 在测试集上进行预测
y_pred = model.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy:.2f}")

# 可视化决策边界
plt.figure(figsize=(10, 6))
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Paired)
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')

# 绘制LDA的决策边界
coef = model.coef_
intercept = model.intercept_
x_boundary = np.linspace(X[:, 0].min(), X[:, 0].max(), 100)
y_boundary = -(coef[0, 0] * x_boundary + intercept) / coef[0, 1]
plt.plot(x_boundary, y_boundary, 'k--')

plt.title("LDA Decision Boundary")
plt.show()