线性判别准则&&线性分类编程实践

目录

一.LDA

1.方差分析 

2.拉个朗日法

3 线性判别分析（LDA）的推导过程

 二.SVM

1.简介

2.原理

3.月亮数据集

3.1线性SVM

3.2多项式核

 3.3高斯核

4.鸢尾花数据集

4.1多项式核

 4.2高斯核

 三.总结

四.参考文献

---

一.LDA

线性判别分析用到方差分析和拉个朗日的相关知识，在介绍线性判别分析之前，先介绍方差分析和拉格朗日的相关知识，然后介绍线性判别分析（LDA的推导过程）、最后利用马氏距离计算样本与两类的距离，对数据进行分类

1.方差分析 

 

2.拉个朗日法

3 线性判别分析（LDA）的推导过程

假设有两类数据红色和蓝色，我们想通过线性判别分析对这两类数据进行分类。图1可以看到没有很好的把数据分开，而图二可以很好的把数据分开，线性判别分析的目的是求一个投影向量，这个投影向量可以很高的区分两类数据（针对二分类问题）

 

 4.LAD代码实现

#####################################定义一个画图函数###########################
import numpy as np
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
 
def plot_decision_regions(X, y, classifier, resolution=0.02):
 
    # setup marker generator and color map
    markers = ('s', 'x', 'o', '^', 'v')
    colors = ('red', 'blue', 'lightgreen', 'gray', 'cyan')
    cmap = ListedColormap(colors[:len(np.unique(y))])
 
    # plot the decision surface
    x1_min, x1_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    x2_min, x2_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution),
                           np.arange(x2_min, x2_max, resolution))
    Z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T)
    Z = Z.reshape(xx1.shape)
    plt.contourf(xx1, xx2, Z, alpha=0.4, cmap=cmap)
    plt.xlim(xx1.min(), xx1.max())
    plt.ylim(xx2.min(), xx2.max())
 
    # plot class samples
    for idx, cl in enumerate(np.unique(y)):
        plt.scatter(x