[机器学习笔记及编程实现]--线性模型之线性判别分析(Linear Discriminant Analysis，LDA)

1、 LDA的核心思想

LDA方法是经典二分类的线性学习方法，最早有Fisher,1936年提出，也称Fisher判别方法（Fisher称为统计学方面的鼻祖）。其直观朴素的思想通过下图清晰表达了出来：

可以看出：将所有样本数据全部投影到一维坐标轴上（即直线模型上）。为了提高分类性能，一维空间的选取，尽可能实现使得两类在直线上的投影实现：类内小，类间大

可以看出，LDA是将高维降低到一维空间的分类方法。虽然目前该类方法运用很少，但是，该方法思想的基础性和启发性使得该方法在分类问题上具有重要地位。
具体推导公式推导需要有一定数学基础，有兴趣同学可以可参加周志华《机器学习》p60-63页。

2 西瓜书3.0数据集的分类编程实现

机器学习中，线性判别分析分类模型已经封装好，直接调用sklearn库函数即可。

2.1 西瓜书数据集：

2.2 程序实现

 import numpy as np
 import pandas as pd
 from sklearn.model_selection import train_test_split
 from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
 from sklearn import metrics
 import matplotlib.pyplot as plt
 from sklearn.metrics import classification_report
import pandas as pd
import warnings
warnings.filterwarnings('ignore')

df_watermelon=pd.read_csv("D:/ML/3data/watermelon.csv")
x=df_watermelon.drop(['target'],axis=1)
y=df_watermelon.target.values

x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=1)
clf = LinearDiscriminantAnalysis(n_components=1)
model=clf.fit(x_train,y_train)
y_pred = model.predict(x_test)
print(classification_report(y_test, y_pred))
print(“测试标签为：”y_test, “预测结果为”：y_pred)

2.3 测试结果：

    程序中设定：test_size=0.2，因此，17个样本中，取出了4个进行测试。测试结果如下：

                                precision         recall            f1-score           support

       0                       0.50               1.00                0.67                   1
       1                       1.00                0.67               0.80                   3

accuracy                                                              0.75                    4
macro avg               0.75                0.83               0.73                   4
weighted avg          0.88                 0.75               0.77                   4

测试标签为: [1 0 1 1]  
预测结果为: [1 0 0 1]