线性分类（四）-- 高斯判别分析 GDA

        高斯判别分析（Gaussian Discriminant analysis，GDA），与之前的线性回归和Logistic回归从方法上讲有很大的不同，GDA是一种生成学习算法（Generative Learning Algorithms），而之前的属于判别学习算法（Discriminative Learning Algorithms）。（不能简单以名字做判断，毕竟逻辑回归是分类模型，高斯判别模型属于生成学习模型）了解更多：判别模型和生成模型

        机器学习模型从概率的角度来看就是最大化 $P(Y|X)$ 的条件概率，判别模型的思想是直接最大化这个概率（Fisher线性判别，线性感知机），生成模型则是通过贝叶斯模型最大后验概率 $maxP(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}\sim maxP(X|Y)P(Y)$，其中 $P(X|Y)$ 可以看作是从标签生成数据，$P(Y)$ 则是标签的先验概率。通俗的讲，判别模型是通过训练样本训练出一个模型，再用测试点 $x$ 带入这个模型，最后算出 $x$ 的可能类别；而生成学习模型是通过训练样本训练出各个类别的多个模型，再将预测点 $x$ 分别代入不同类别的模型中，进而判断 $x$ 到底属于哪个类别（一般就看代入后哪个模型的概率大就认为 $x$ 是哪一类，当然也有例外）。

        在Andrew Ng大神的CS229 Lecture notes中有一个例子：假设我们要对大象和狗分类，回归模型和感知机模型是在两类数据之间找到一个decision boundary，通过这个decision boundary来区分大象和狗。高斯判别分析提供了另外一种思路：首先我们观察大象，对大象建立一个模型来描述他的特点；在观察狗，并建立相应的模型来描述狗。当一个新的狗或者象过来时，我们首先带入象模型和狗模型，最后决定新来的的动物的类别。

        这是一种软分类的思路，所谓软分类就是我们对一个样本决定它的类别时有一个可信度的概念，比方说当数据位于decision boundary附近的时候，我们将数据硬分为0或者1类（在这里是象和狗类）有时是不合理的，因为这是类别的不确定性更大。

        这一部分涉及的数学知识，请先阅读：高斯分布的极大似然估计、多维高斯分布 和 矩阵求导（三）-- 一阶微分法

---

1 高斯判别分析模型的假设函数

        高斯判别分析的基本假设是我们得到的数据是独立同分布的(IID)，虽然在实际中这种假设很难达到，但有时候拥有了好的假设可以得到较好的结果。
D a t a ： { ( x i , y i ) } i = 1 N x i ∈ R p y i ∈ { 0 , 1 } (1-1) Data：\{(\pmb{x}_i,y_i)\}^N_{i=1} \quad \pmb{x}_i \in \mathbb R^p \quad y_i \in \{0, 1\} \tag{1-1} Data：{(xxxi​,yi​)}i=1N​xxxi​∈Rpyi​∈{0,1}(1-1)

        可以按 $y$ 的取值分为两类数据，并按照以下两个集合来表示
C 1 = { x i ∣ y i = 1 , i = 1 , 2 , ⋯   , N } C 2 = { x i ∣ y i = 0 , i = 1 , 2 , ⋯   , N } ∣ C 1 ∣ = N 1 , ∣ C 2 ∣ = N 2 , N 1 + N 2 = N (1-2) C_{1}=\left \{\boldsymbol{x}_{i}|y_{i}=1,i=1,2,\cdots ,N\right \}\\ C_{2}=\left \{\boldsymbol{x}_{i}|y_{i}=0,i=1,2,\cdots ,N\right \}\\ |C_{1}|=N_{1},|C_{2}|=N_{2},N_{1}+N_{2}=N \tag{1-2} C1​={xi​∣yi​=1,i=1,2,⋯,N}C2​={xi​∣yi​=0,i=1,2,⋯,N}∣C1​∣=N1​,∣C2​∣=N2​,N1​+N2​=N(1-2)

        由于 y i ∈ { 0 , 1 } y_i\in\{0, 1\} yi​∈{0,1}，因此可认为 $y\sim Bernoulli(\varphi )$
$$\Rightarrow \begin{array}{ccc}y& 1& 0\\ P& \varphi & 1-\varphi \end{array}\text{\hspace{1em}(1-3)}$$
        因此 $P(y)={\varphi }^y(1-\varphi {)}^{1-y}$

        接下来假设 $P(x\text{x}x|y)$ 服从高斯分布：
$$\begin{gathered} x\text{x}x|(y=1)\sim N({\mu \text{μ}\mu }_1,\Sigma \text{Σ}\Sigma ) \\ x\text{x}x|(y=0)\sim N({\mu \text{μ}\mu }_0,\Sigma \text{Σ}\Sigma )\text{\hspace{1em}(1-4)} \end{gathered}$$
        更为直观的描述为：
$$\begin{array}{rl}P(x\text{x}x|y=0)& =\frac{1}{(2\pi {)}^{\frac{p}{2}}|\mathbf{\Sigma }{|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_0{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-{\mathbf{\mu }}_0)}\\ P(x\text{x}x|y=1)& =\frac{1}{(2\pi {)}^{\frac{p}{2}}|\mathbf{\Sigma }{|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_1{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-{\mathbf{\mu }}_1)}\end{array}\text{\hspace{1em}(1-5)}$$

        上述模型中的未知参数为 $\varphi 、\Sigma \text{Σ}\Sigma 、{\mu \text{μ}\mu }_0和{\mu \text{μ}\mu }_1$，假设函数为 $P(y|x\text{x}x)=\frac{P(x\text{x}x|y)P(y)}{P(x\text{x}x)}$ 分别计算 $P(x\text{x}x|y=0)P(y=0)和P(x\text{x}x|y=1)P(y=1)$ 的概率，概率大者为样本数据所属类别。

---

2 高斯判别分析模型的损失函数

        已知样本数据含有参数的概率分布，由最大似然估计法可以推导高斯判别分析模型的损失函数为
$$\begin{array}{rl}L(\varphi ,{\mathbf{\mu }}_0,{\mathbf{\mu }}_1,\mathbf{\Sigma })& =ln\prod _{i=1}^{N}P({\mathbf{x}}_i,y_i;\varphi ,{\mathbf{\mu }}_0,{\mathbf{\mu }}_1,\mathbf{\Sigma })\\ & =ln\prod _{i=1}^{N}P({\mathbf{x}}_i|y_i;{\mathbf{\mu }}_0,{\mathbf{\mu }}_1,\mathbf{\Sigma })P(y_i;\varphi )\\ & =\sum _{i=1}^{N}lnP({\mathbf{x}}_i|y_i;{\mathbf{\mu }}_0,{\mathbf{\mu }}_1,\mathbf{\Sigma })+\sum _{i=1}^{N}lnP(y_i;\varphi )\\ & =\sum _{i=1}^{N}ln\left(P({\mathbf{x}}_i|y_i=1;{\mathbf{\mu }}_1,\mathbf{\Sigma }{)}^{y_i}\cdot P({\mathbf{x}}_i|y_i=0;{\mathbf{\mu }}_0,\mathbf{\Sigma }{)}^{1-y_i}\right)+\sum _{i=1}^{N}lnP(y_i;\varphi )\\ & =\underset{①}{\underbrace{\sum _{i=1}^N{y}_{i}lnP({\mathbf{x}}_i|y_i=1;{\mathbf{\mu }}_1,\mathbf{\Sigma })}}+\underset{②}{\underbrace{\sum _{i=1}^N(1-y_i)lnP({\mathbf{x}}_i|y_i=0;{\mathbf{\mu }}_0,\mathbf{\Sigma })}}+\underset{③}{\underbrace{\sum _{i=1}^{N}lnP(y_i;\varphi )}}\end{array}\text{\hspace{1em}(2-1)}$$

1. 求解 $\varphi$
           $\varphi$ 只存在于③式中，因此求解 $\varphi$ 只需要看③式即可，即：
   $$\begin{gathered} \sum _{i=1}^{N}lnP(y_i;\varphi )=\sum _{i=1}^{N}ln{\varphi }^{y_i}(1-\varphi {)}^{1-y_i} \\ =\sum _{i=1}^N[y_{i}ln\varphi +(1-y_i)ln(1-\varphi )]\text{\hspace{1em}(2-2)} \end{gathered}$$

        对 $\varphi$ 求偏导，并令其等于0，可得：
$$\begin{gathered} \frac{\partial L(\varphi ,{\mathbf{\mu }}_0,{\mathbf{\mu }}_1,\mathbf{\Sigma })}{\partial \varphi }=\sum _{i=1}^N[y_i\frac{1}{\varphi }-(1-y_i)\frac{1}{1-\varphi }]=0 \\ \Rightarrow \sum _{i=1}^N[y_i(1-\varphi )-(1-y_i)\varphi ]=0 \\ \Rightarrow \sum _{i=1}^N(y_i-\varphi )=0 \\ \Rightarrow \sum _{i=1}^N{y}_i-N\varphi =0 \\ \hat{\varphi }=\frac{1}{N}\sum _{i=1}^N{y}_i=\frac{N_1}{N}\text{\hspace{1em}(2-3)} \end{gathered}$$

2. 求解 ${\mu \text{μ}\mu }_1、{\mu \text{μ}\mu }_0$
           ${\mu \text{μ}\mu }_1$ 只存在于①式中，因此求解 ${\mu \text{μ}\mu }_1$ 只需要看①式即可：
   $$\sum _{i=1}^N{y}_{i}lnP({\mathbf{x}}_i|y_i=1;{\mathbf{\mu }}_1,\mathbf{\Sigma })$$
   $$\begin{array}{rl}\Delta & =\sum _{i=1}^N{y}_{i}lnP({\mathbf{x}}_i|y_i=1;{\mathbf{\mu }}_1,\mathbf{\Sigma })\\ & =\sum _{i=1}^N{y}_{i}ln(\frac{1}{(2\pi {)}^{\frac{p}{2}}{|\mathbf{\Sigma }|}^{\frac{1}{2}}}\exp (-\frac{1}{2}({\mathbf{x}}_i-{\mathbf{\mu }}_1{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_i-{\mathbf{\mu }}_1)))\end{array}$$
   $$\begin{array}{rl}\widehat{{\mathbf{\mu }}_1}& =arg\underset{{\mathbf{\mu }}_1}{\max }\Delta \\ & =arg\underset{{\mathbf{\mu }}_1}{\max }\sum _{i=1}^N{y}_{i}ln(\frac{1}{(2\pi {)}^{\frac{p}{2}}{|\mathbf{\Sigma }|}^{\frac{1}{2}}}\exp (-\frac{1}{2}({\mathbf{x}}_i-{\mathbf{\mu }}_1{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_i-{\mathbf{\mu }}_1)))\\ & \Rightarrow arg\underset{{\mathbf{\mu }}_1}{\max }\sum _{i=1}^N{y}_i(-\frac{1}{2}({\mathbf{x}}_i-{\mathbf{\mu }}_1{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_i-{\mathbf{\mu }}_1))\\ & =arg\underset{{\mathbf{\mu }}_1}{\max }-\frac{1}{2}\sum _{i=1}^N{y}_i({\mathbf{x}}_i^T{\mathbf{\Sigma }}^{-1}-{\mathbf{\mu }}_1^T{\mathbf{\Sigma }}^{-1})({\mathbf{x}}_i-{\mathbf{\mu }}_1)\\ & =arg\underset{{\mathbf{\mu }}_1}{\max }-\frac{1}{2}\sum _{i=1}^N(y_i{\mathbf{x}}_i^T{\mathbf{\Sigma }}^{-1}{\mathbf{x}}_i-2y_i{\mathbf{\mu }}_1^T{\mathbf{\Sigma }}^{-1}{\mathbf{x}}_i+y_i{\mathbf{\mu }}_1^T{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_1)\end{array}\text{\hspace{1em}(2-4)}$$

$$\begin{array}{rl}\frac{\partial \Delta }{\partial {\mathbf{\mu }}_1}& =0\\ -\frac{1}{2}\sum _{i=1}^N[-2y_i{\mathbf{\Sigma }}^{-1}{\mathbf{x}}_i+2y_i{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_1)& =0\\ \Rightarrow \sum _{i=1}^N{y}_i{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_i-{\mathbf{\mu }}_1)& =0\\ \Rightarrow \sum _{i=1}^N{y}_i({\mathbf{x}}_i-{\mathbf{\mu }}_1)& =0\\ \Rightarrow {\hat{\mathbf{\mu }}}_1& =\frac{\sum _{i=1}^N{y}_i{\mathbf{x}}_i}{\sum _{i=1}^N{y}_i}\\ {\hat{\mathbf{\mu }}}_1& =\frac{1}{N_1}\sum _{i=1}^{N_1}{\mathbf{x}}_i\end{array}\text{\hspace{1em}(2-5)}$$
        由于 y i ∈ { 0 , 1 } y_i\in\{0,1\} yi​∈{0,1} 因此只有 时 $y_i=1$ 才被相加，所以 ${x\text{x}x}_i$ 和 ${\sum }_{i=1}^N{y}_i{x\text{x}x}_i={\sum }_{i=1}^{N_1}{x\text{x}x}_i$ 为 ${\mu \text{μ}\mu }_1$ 中的 $y=1$ 的 $x\text{x}x$ 期望，正是 $C_1$ 集合中 $x\text{x}x$ 的均值(无偏估计)
同理，
$${\mu \text{μ}\mu }_0=\frac{1}{N_2}\sum _{i=1}^{N_2}{x\text{x}x}_i\text{\hspace{1em}(2-6)}$$

3. 求解 $\Sigma \text{Σ}\Sigma$
   $$\begin{array}{rl}{\rm Y}& =\sum _{i=1}^N{y}_{i}lnP({\mathbf{x}}_i|y_i=1;{\mathbf{\mu }}_1,\mathbf{\Sigma })+\sum _{i=1}^N(1-y_i)lnP({\mathbf{x}}_i|y_i=0;{\mathbf{\mu }}_0,\mathbf{\Sigma })\end{array}\text{\hspace{1em}(2-7)}$$

        由于 $y_i$ 非1即0，因此 $\sum _{i=1}^N{y}_{i}lnP({\mathbf{x}}_i|y_i=1;{\mathbf{\mu }}_1,\mathbf{\Sigma })=\sum _{i=1}^{N_1}lnP({\mathbf{x}}_i|y_i=1;{\mathbf{\mu }}_1,\mathbf{\Sigma })$，同理，$\sum _{i=1}^N(1-y_i)lnP({\mathbf{x}}_i|y_i=0;{\mathbf{\mu }}_0,\mathbf{\Sigma })=\sum _{i=1}^{N_2}lnP({\mathbf{x}}_i|y_i=0;{\mathbf{\mu }}_0,\mathbf{\Sigma })$，则

$${\rm Y}==\sum _{i=1}^{N_1}lnP({\mathbf{x}}_i|y_i=1;{\mathbf{\mu }}_1,\mathbf{\Sigma })+\sum _{i=1}^{N_2}lnP({\mathbf{x}}_i|y_i=0;{\mathbf{\mu }}_0,\mathbf{\Sigma })\text{\hspace{1em}(2-8)}$$

        先来计算 $\sum _{i=1}^{N}lnP({\mathbf{x}}_i|y_i;\mathbf{\mu },\mathbf{\Sigma })$

$$\begin{array}{rl}\sum _{i=1}^{N}lnP({\mathbf{x}}_i|y_i;\mathbf{\mu },\mathbf{\Sigma })& =\sum _{i=1}^{N}ln[\frac{1}{(2\pi {)}^{\frac{p}{2}}|\mathbf{\Sigma }{|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_0{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-{\mathbf{\mu }}_0)}]\\ & =\sum _{i=1}^N[ln(\frac{1}{(2\pi {)}^{\frac{p}{2}}})+ln|\mathbf{\Sigma }{|}^{-\frac{1}{2}}-\frac{1}{2}({\mathbf{x}}_i-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_i-\mathbf{\mu })]\end{array}\text{\hspace{1em}(2-9)}$$
        令常数项 ${\sum }_{i=1}^{N}ln(\frac{1}{(2\pi {)}^{\frac{p}{2}}})=C$

$$\begin{array}{rl}\sum _{i=1}^{N}lnP({\mathbf{x}}_i|y_i;\mathbf{\mu },\mathbf{\Sigma })& =C+\sum _{i=1}^N[-\frac{1}{2}ln|\mathbf{\Sigma }|-\frac{1}{2}({\mathbf{x}}_i-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_i-\mathbf{\mu })]\\ & =-\frac{1}{2}Nln|\mathbf{\Sigma }|-\frac{1}{2}\sum _{i=1}^N({\mathbf{x}}_i-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_i-\mathbf{\mu })+C\end{array}\text{\hspace{1em}(2-10)}$$

        $({\mathbf{x}}_i-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_i-\mathbf{\mu })$ 是 $1\times pp\times pp\times 1$，因此结果为一实数，由矩阵迹的性质可得：$({\mathbf{x}}_i-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_i-\mathbf{\mu })=tr[({\mathbf{x}}_i-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_i-\mathbf{\mu })]$，接下来使用迹的交换性质可得：
$$\begin{gathered} tr[({\mathbf{x}}_i-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_i-\mathbf{\mu })]=tr[({\mathbf{x}}_i-\mathbf{\mu })({\mathbf{x}}_i-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}] \\ tr[\sum _{i=1}^N({\mathbf{x}}_i-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_i-\mathbf{\mu })]=tr[\sum _{i=1}^N({\mathbf{x}}_i-\mathbf{\mu })({\mathbf{x}}_i-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}]\text{\hspace{1em}(2-11)} \end{gathered}$$
        由于协方差矩阵 $S\text{S}S=\frac{{\sum }_{i=1}^N({\mathbf{x}}_i-\mathbf{\mu })({\mathbf{x}}_i-\mathbf{\mu }{)}^T}{N}$，因此
$$\sum _{i=1}^N({\mathbf{x}}_i-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_i-\mathbf{\mu })=tr(N{\mathbf{S}\mathbf{\Sigma }}^{-1})=Ntr({\mathbf{S}\mathbf{\Sigma }}^{-1})\text{\hspace{1em}(2-12)}$$
        代入式子（2-10）可得
$$\begin{array}{r}\sum _{i=1}^{N}lnP({\mathbf{x}}_i|y_i;\mathbf{\mu },\mathbf{\Sigma })=-\frac{1}{2}Nln|\mathbf{\Sigma }|-\frac{1}{2}Ntr({\mathbf{S}\mathbf{\Sigma }}^{-1})+C\end{array}\text{\hspace{1em}(2-13)}$$

        将此式带入 ${\rm Y}$ 可得：
$$\begin{array}{rl}{\rm Y}& =-\frac{1}{2}{N}_{1}ln|\mathbf{\Sigma }|-\frac{1}{2}{N}_{1}tr({{\mathbf{S}}_1\mathbf{\Sigma }}^{-1})-\frac{1}{2}{N}_{2}ln|\mathbf{\Sigma }|-\frac{1}{2}{N}_{2}tr({{\mathbf{S}}_2\mathbf{\Sigma }}^{-1})+\hat{C}\\ & =-\frac{1}{2}[Nln|\mathbf{\Sigma }|+N_{1}tr({{\mathbf{S}}_1\mathbf{\Sigma }}^{-1})+N_{2}tr({{\mathbf{S}}_2\mathbf{\Sigma }}^{-1})]+\hat{C}\end{array}\text{\hspace{1em}(2-14)}$$
        对 ${\rm Y}$ 求偏导可得：
$$\begin{array}{rl}\frac{\partial {\rm Y}}{\partial \mathbf{\Sigma }}& =-\frac{1}{2}[N\frac{1}{|\mathbf{\Sigma }|}|\mathbf{\Sigma }|{\mathbf{\Sigma }}^{-1}+N_1\frac{\partial tr({\mathbf{\Sigma }}^{-1}{\mathbf{S}}_1)}{\partial \mathbf{\Sigma }}+N_2\frac{\partial tr({\mathbf{\Sigma }}^{-1}{\mathbf{S}}_2)}{\partial \mathbf{\Sigma }}]\\ & =-\frac{1}{2}[N{\mathbf{\Sigma }}^{-1}+N_1{\mathbf{S}}_1^T(-1){\mathbf{\Sigma }}^{-2}+N_2{\mathbf{S}}_2^T(-1){\mathbf{\Sigma }}^{-2}]\\ & =-\frac{1}{2}(N{\mathbf{\Sigma }}^{-1}-N_1{\mathbf{S}}_1^T{\mathbf{\Sigma }}^{-2}-N_2{\mathbf{S}}_2^T{\mathbf{\Sigma }}^{-2})\end{array}\text{\hspace{1em}(2-15)}$$
        令 $\frac{\partial {\rm Y}}{\partial \mathbf{\Sigma }}=0$，可得
$$\begin{gathered} N{\mathbf{\Sigma }}^{-1}-N_1{\mathbf{S}}_1^T{\mathbf{\Sigma }}^{-2}-N_2{\mathbf{S}}_2^T{\mathbf{\Sigma }}^{-2}=0 \\ \hat{\mathbf{\Sigma }}=\frac{N_1{\mathbf{S}}_1+N_2{\mathbf{S}}_2}{N}\text{\hspace{1em}(2-16)} \end{gathered}$$

        通过上述公式，所有的未知参数都已经估计出来了，当需要判断一个新样本 ${\mathbf{x}}_i$ 时，可分别求出 $P(x\text{x}x|y=0)P(y=0)和P(x\text{x}x|y=1)P(y=1)$ 的概率，概率大者为样本数据所属类别。

---

3 代码实现

        这里以Breast-Cancer数据集为例，来实现高斯判别分析，对此数据集的详细介绍，请参考：机器学习实践-针对Breast-Cancer数据集，下面代码部分主要参考：daipuweiai ——高斯判别分析（GDA）Python代码

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer
from sklearn.preprocessing import MinMaxScaler
from sklearn.metrics import accuracy_score
from sklearn.linear_model import LogisticRegression
import matplotlib as mpl
import matplotlib.pyplot as plt

class GDA:
    def __init__(self,train_data,train_label):
        """
        这是GDA算法构造函数
        :param train_data: 训练数据
        :param train_label: 训练数据标签
        """
        self.Train_Data = train_data
        self.Train_Label = train_label
        self.postive_num = 0                                                    # 正样本个数
        self.negetive_num = 0                                                   # 负样本个数
        postive_data = []                                                       # 正样本数组
        negetive_data = []                                                      # 负样本数组
        for (data,label) in zip(self.Train_Data,self.Train_Label):
            if label == 1:          # 正样本
                self.postive_num += 1
                postive_data.append(list(data))
            else:                   # 负样本
                self.negetive_num += 1
                negetive_data.append(list(data))
        # 计算正负样本的二项分布的概率
        row,col = np.shape(train_data)
        self.postive = self.postive_num*1.0/row                                 # 正样本的二项分布概率
        self.negetive = 1-self.postive                                          # 负样本的二项分布概率
        # 计算正负样本的高斯分布的均值向量
        postive_data = np.array(postive_data)
        negetive_data = np.array(negetive_data)
        postive_data_sum = np.sum(postive_data, 0)
        negetive_data_sum = np.sum(negetive_data, 0)
        self.mu_positive = postive_data_sum*1.0/self.postive_num                # 正样本的高斯分布的均值向量
        self.mu_negetive = negetive_data_sum*1.0/self.negetive_num              # 负样本的高斯分布的均值向量
        # 计算高斯分布的协方差矩阵
        positive_deta = postive_data-self.mu_positive
        negetive_deta = negetive_data-self.mu_negetive
        self.sigma = []
        for deta in positive_deta:
            deta = deta.reshape(1,col)
            ans = deta.T.dot(deta)
            self.sigma.append(ans)
        for deta in negetive_deta:
            deta = deta.reshape(1,col)
            ans = deta.T.dot(deta)
            self.sigma.append(ans)
        self.sigma = np.array(self.sigma)
        #print(np.shape(self.sigma))
        self.sigma = np.sum(self.sigma,0)
        self.sigma = self.sigma/row
        self.mu_positive = self.mu_positive.reshape(1,col)
        self.mu_negetive = self.mu_negetive.reshape(1,col)

    def Gaussian(self, x, mean, cov):
        """
        这是自定义的高斯分布概率密度函数
        :param x: 输入数据
        :param mean: 均值向量
        :param cov: 协方差矩阵
        :return: x的概率
        """
        dim = np.shape(cov)[0]
        # cov的行列式为零时的措施
        covdet = np.linalg.det(cov + np.eye(dim) * 0.001)
        covinv = np.linalg.inv(cov + np.eye(dim) * 0.001)
        xdiff = (x - mean).reshape((1, dim))
        # 概率密度
        prob = 1.0 / (np.power(np.power(2 * np.pi, dim) * np.abs(covdet), 0.5)) * \
               np.exp(-0.5 * xdiff.dot(covinv).dot(xdiff.T))[0][0]
        return prob

    def predict(self,test_data):
        predict_label = []
        for data in test_data:
            positive_pro = self.Gaussian(data,self.mu_positive,self.sigma)
            negetive_pro = self.Gaussian(data,self.mu_negetive,self.sigma)
            if positive_pro >= negetive_pro:
                predict_label.append(1)
            else:
                predict_label.append(0)
        return predict_label

def run_main():
    """
       这是主函数
    """
    # 导入乳腺癌数据
    breast_cancer = load_breast_cancer()
    data = np.array(breast_cancer.data)
    label = np.array(breast_cancer.target)
    data = MinMaxScaler().fit_transform(data)

    # 解决画图是的中文乱码问题
    mpl.rcParams['font.sans-serif'] = [u'simHei']
    mpl.rcParams['axes.unicode_minus'] = False

    # 分割训练集与测试集
    train_data,test_data,train_label,test_label = train_test_split(data,label,test_size=1/4)

    # 数据可视化
    plt.scatter(test_data[:,0],test_data[:,1],c = test_label)
    plt.title("乳腺癌数据集显示")
    plt.show()

    # GDA结果
    gda = GDA(train_data,train_label)
    test_predict = gda.predict(test_data)
    print("GDA的正确率为：",accuracy_score(test_label,test_predict))

    # 数据可视化
    plt.scatter(test_data[:,0],test_data[:,1],c = test_predict)
    plt.title("GDA分类结果显示")
    plt.show()

    # Logistic回归结果
    lr = LogisticRegression()
    lr.fit(train_data,train_label)
    test_predict = lr.predict(test_data)
    print("Logistic回归的正确率为：",accuracy_score(test_label,test_predict))

    # 数据可视化
    plt.scatter(test_data[:,0],test_data[:,1],c = test_predict)
    plt.title("Logistic回归分类结果显示")
    plt.show()

if __name__ == '__main__':
    run_main()

输出结果为：
	GDA的正确率为： 0.972027972027972
	Logistic回归的正确率为： 0.958041958041958

---

4 总结

4.1 高斯判别模型与逻辑回归比较

        高斯判别模型的假设是 $P(X|Y)$ 服从高斯分布，$P(Y)$ 服从伯努利分布；逻辑回归的概率解释中可以看出它的假设是 $P(Y|X;\theta )$服从伯努利分布。

        假如我们将 $p(y=1|x;\varphi ,{\mu }_0,{\mu }_1,\Sigma )$ 视作关于 $x$ 的函数，该函数可以表示成logistic回归形式：
$$P(y=1|x\text{x}x;\varphi ,{\mu \text{μ}\mu }_0,{\mu \text{μ}\mu }_1,\Sigma \text{Σ}\Sigma )=\frac{1}{1+exp(-{\theta \text{θ}\theta }^{T}x\text{x}x)}$$
        其中，$\theta \text{θ}\theta$ 可以用以 $\varphi ,{\mu \text{μ}\mu }_0,{\mu \text{μ}\mu }_1,\Sigma \text{Σ}\Sigma$ 为变量的函数表示。

        如果 $P(X|Y)$ 服从高斯分布，那么，$P(Y|X)$ 就可以表示成逻辑回归函数形式；相反，如果 $P(Y|X)$ 可表示成逻辑回归函数形式，并不代表 $P(X|Y)$ 服从高斯分布。这意味着高斯判别模型比逻辑回归需要更加严格的模型假设，当然，如果高斯模型的假设是正确的，那么，高斯判别模型具有更高的拟合度。基于以上原因，在实践中使用逻辑回归比使用高斯判别模型更普遍。

        综上，我们可以发现高斯判别模型的假设强于Logistic模型，也就是说逻辑回归模型的鲁棒性更强。这就表示在数据量足够大时，更倾向于选择Logistic回归模型。而在数据量较小，且 $P(X|Y)$ 服从一个高斯分布非常合理时，选择高斯判别分析模型更适合。

        以上就是GDA的思路和实现方式，此模型只能应用于监督学习中，并且数据的分布必须大致是高斯分布的，对于一些奇怪的形状，可能并没有好的分类结果。

---

参考

• 机器学习实现与分析之五（高斯判别分析）：https://www.cnblogs.com/jcchen1987/p/4424436.html
• 判别模型和生成模型：http://blog.sciencenet.cn/blog-248173-227964.html
• 监督学习GDA 高斯判别分析：https://www.cnblogs.com/taokongcn/p/4117413.html
• 机器学习笔记（五）-高斯判别分析：https://blog.csdn.net/weixin_42555080/article/details/89508850
• 斯坦福机器学习笔记（三）—— 高斯判别分析：https://blog.csdn.net/qq_30091945/article/details/81503187
• 【机器学习】高斯判别分析：https://mp.weixin.qq.com/s?__biz=Mzg3OTAyMjcyMw