机器学习(四)高斯判别分析

前置知识

协方差

协方差是用来衡量两个随机变量之间关系的指标。简单来说，协方差描述了这两个变量如何同时变化，即它们之间的变化趋势。协方差的公式为：
$$cov(X,Y)=E[(X-E(X))(Y-E(Y))]$$
其中，X和Y是两个随机变量，E(X)和E(Y)是它们的期望值。当协方差的值为正时，表示X和Y之间存在正相关关系，即当一个变量增加时，另一个变量也会随之增加；当协方差的值为负时，表示X和Y之间存在负相关关系，即当一个变量增加时，另一个变量会随之减少；而当协方差的值接近于0时，则表示X和Y之间不存在线性关系。

协方差矩阵

协方差矩阵是一种用于描述多个随机变量之间关系的矩阵。它是一个对称矩阵，其中每个元素表示相应的两个随机变量之间的协方差。

假设有 $n$ 个随机变量 $X_1,X_2,...,X_n$，每个随机变量都有 $m$ 个样本。将样本数据放入一个 $m\times n$ 的矩阵 $X$ 中，其中每行表示一个样本，每列表示一个随机变量。则协方差矩阵 $C$ 的元素 $c_{i,j}$ 表示随机变量 $X_i$ 和 $X_j$ 之间的协方差，定义如下：

$$c_{i,j}=\frac{1}{m-1}\sum _{k=1}^m(x_{k,i}-\overline{x_i})(x_{k,j}-\overline{x_j})$$

其中，$\overline{x_i}$ 表示随机变量 $X_i$ 的样本均值。协方差矩阵 $C$ 的对角线元素 $c_{i,i}$ 是方差，表示随机变量 $X_i$ 的方差。
$$\begin{array}{rl}C& =\left(\begin{array}{cccc}cov(X_1,X_1)& cov(X_1,X_2)& \dots & cov(X_1,X_n)\\ cov(X_2,X_1)& cov(X_2,X_2)& \dots & cov(X_2,X_n)\\ ...& ...& ...& ...\\ cov(X_m.X_1)& cov(X_m,X_2)& ...& cov(X_m,X_n)\end{array}\right)\\ & =\frac{1}{m-1}\left(\begin{array}{cccc}{\sum }_{j=1}^m(x_{1j}-\overline{x_1})(x_{1j}-\overline{x_1})& {\sum }_{j=1}^m(x_{1j}-\overline{x_1})(x_{2j}-\overline{x_2})& ...& {\sum }_{j=1}^m(x_{1j}-\overline{x_1})(x_{nj}-\overline{x_n}\\ {\sum }_{j=1}^m(x_{2j}-\overline{x_2})(x_{1j}-\overline{x_1})& {\sum }_{j=1}^m(x_{2j}-\overline{x_2})(x_{2j}-\overline{x_2})& ...& {\sum }_{j=1}^m(x_{2j}-\overline{x_2})(x_{nj}-\overline{x_n}\\ ...& ...& ...& ...\\ {\sum }_{j=1}^m(x_{mj}-\overline{x_m})(x_{1j}-\overline{x_1})& {\sum }_{j=1}^m(x_{mj}-\overline{x_m})(x_{2j}-\overline{x_2})& ...& {\sum }_{j=1}^m(x_{mj}-\overline{x_m})(x_{nj}-\overline{x_n}\end{array}\right)\\ & =\frac{1}{m-1}\sum _{j=1}^m(x_j-\bar{x})(x_j-\bar{x}{)}^T\end{array}$$
公式中$m$为样本数量，$\bar{x}$为样本的均值，是一个列向量，$x_j$为第$j$个样本，也是一个列向量。这个公式中，系数 $\frac{1}{m-1}$ 就是为了将样本的协方差估计无偏化而引入的。

具体来说，如果将系数改为 $\frac{1}{m}$，那么就得到了样本方差的无偏估计公式。但是，当计算协方差矩阵时，由于样本的均值向量已知，所以样本协方差矩阵的自由度为 $m-1$，而不是 $m$。因此，为了保证样本协方差矩阵的无偏估计，需要将系数改为 $\frac{1}{m-1}$。

需要注意的是，这个系数只有在使用样本协方差矩阵进行推断时才需要考虑，如果使用总体协方差矩阵，则无需使用这个系数。

无偏估计是指，在进行参数估计时，使用的统计量的期望值等于被估计的参数的真实值。也就是说，无偏估计不会出现估计偏差，即估计值与真实值之间的差异的期望为零。对于协方差矩阵的计算，如果使用样本协方差矩阵的通用公式(即系数为$\frac{1}{m}$),则得到的是样本的无偏方差估计量，但并不是无偏的协方差矩阵估计量。这是因为当 $m>1$ 时，样本协方差矩阵的计算中分母为 $m$ 而不是 $m-1$，所以样本协方差矩阵的计算结果会偏向总体协方差矩阵，导致估计结果存在偏差。

因此，在使用样本协方差矩阵进行推断时，需要将样本协方差矩阵的计算公式中的系数从 $\frac{1}{m}$ 改为 $\frac{1}{m-1}$，这样计算出来的样本协方差矩阵就是无偏的协方差矩阵估计量。这个无偏化的过程可以使得样本协方差矩阵的期望值等于总体协方差矩阵的期望值，从而消除估计偏差。

协方差矩阵描述了多个随机变量之间的线性关系。如果 $C$ 中某些元素的值为零，则相应的随机变量之间不存在线性关系。如果某些元素的值为正，则相应的随机变量呈正相关；如果某些元素的值为负，则相应的随机变量呈负相关。

多元高斯分布

多元高斯分布（Multivariate Gaussian Distribution），也叫多元正态分布，是统计学中非常重要的概率分布之一。在概率论、统计学和相关领域中具有广泛应用。本篇博客将介绍多元高斯分布的定义、性质和应用。

多元高斯分布是一个优美的概率分布，它可以用一个多维向量来描述。多元高斯分布的一个重要性质是它的线性变换是可逆的，因此它非常适合用于描述多元数据和多元时间序列。

多元高斯分布的定义如下：

对于向量 $x\in R^n$，其概率分布为：

$$p(x)=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

其中 $n$ 表示向量的维度，$\mu$ 表示 $x$ 分布的均值向量，$\Sigma$ 表示 $x$ 的协方差矩阵，$|\Sigma |$ 表示 $\Sigma$ 的行列式。

多元高斯分布的均值是 $\mu$，协方差矩阵是 $\Sigma$。对于正态分布，均值和协方差是唯一的。

高斯判别分析的原理及其推导

介绍

高斯判别分析（Gaussian Discriminant Analysis）是一种有监督学习算法，通常用于二元分类问题。它将数据集中的每个类别建模为一个高斯分布，并使用贝叶斯定理来估计后验概率。在进行预测时，算法选择具有最高后验概率的类别作为预测结果。

模型

在高斯判别分析中，假设有两个类别$y\in 0,1$，每个类别都被建模为一个高斯分布。设${\mu }_0$和${\mu }_1$分别是两个类别的均值向量，$\Sigma$是两个类别的共同协方差矩阵。

类别$y=0$的高斯分布的概率密度函数为：

$$p(x|y=0)=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-{\mu }_0{)}^T{\Sigma }^{-1}(x-{\mu }_0)\right)$$

类别$y=1$的高斯分布的概率密度函数为：

$$p(x|y=1)=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1)\right)$$

其中，$n$是特征数量，$|\Sigma |$是协方差矩阵$\Sigma$的行列式。

参数估计

假设我们有一个训练集$(x^{(1)},y^{(1)}),\dots ,(x^{(m)},y^{(m)})$，其中$x^{(i)}$是一个$n$维实向量。我们可以使用最大似然估计来估计高斯分布的参数。为了简化推导，我们假设两个类别的协方差矩阵是相等的，即$\Sigma ={\Sigma }_0={\Sigma }_1$。在这种情况下，我们将模型称为共享协方差高斯判别分析（Shared Covariance Gaussian Discr iminant Analysis）。
所以有：$$\begin{array}{r}y\sim Bernoulli(\varphi )\\ x|y=0\sim N({\mu }_0,\Sigma )\\ x|y=1\sim N({\mu }_1,\Sigma )\end{array}$$
展开有:$$\begin{array}{rl}p(y)& ={\varphi }^y(1-\varphi {)}^{1-y}\\ p(x|y=1)& =\frac{1}{(2\pi {)}^{n/2}{\left|\Sigma \right|}^{1/2}}\exp (-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1))\\ p(x|y=0)& =\frac{1}{(2\pi {)}^{n/2}{\left|\Sigma \right|}^{1/2}}\exp (-\frac{1}{2}(x-{\mu }_{-1}{)}^T{\Sigma }^{-1}(x-{\mu }_0))\end{array}$$
概率函数:$$\begin{array}{rl}L(\varphi ,{\mu }_0,{\mu }_1,\Sigma )& ={\Pi }_{i=1}^{m}p(x^i,y^i,\varphi ,{\mu }_0,{\mu }_1,\Sigma )\\ & ={\Pi }_{i=1}^{m}p(x^i|y^i)p(y^{(i)})\end{array}$$
我们的目的是将概率函数最大化，为了便于计算，我们采用对数似然来对原函数进行处理:$$\begin{array}{rl}l(\varphi ,{\mu }_1,{\mu }_0,{\Sigma }^2)& =\log \prod _{i=1}^{m}p(x^{(i)},y^{(i)};\varphi ,{\mu }_0,{\mu }_1,{\Sigma }^2)\\ & =\log \prod _{i=1}^{m}p(x^{(i)}|y^{(i)};\varphi ,{\mu }_0,{\mu }_1,{\Sigma }^2)p(y^{(i)};\varphi )\end{array}$$
此时我们假设有$m_0$个样本的$y=0$,有$m_1$个样本的$y=1$。则$m_0+m_1=m$.
有：
$$\begin{array}{rl}l(\varphi ,{\mu }_1,{\mu }_{-1},{\sigma }^2)& =\log \left[\right(\prod _{i=1}^{m_1}\frac{1}{(2\pi {\sigma }^2{)}^{\frac{1}{2}}}\exp (-\frac{(x^{(i)}-{\mu }_1{)}^2}{2{\sigma }^2})\varphi \left)\right(\prod _{j=1}^{m_0}\frac{1}{(2\pi {\sigma }^2{)}^{\frac{1}{2}}}\exp (-\frac{(x^{(j)}-{\mu }_0{)}^2}{2{\sigma }^2})(1-\varphi )\left)\right]\\ & =\sum _{i=1}^m\log \left(\frac{1}{(2\pi {\sigma }^2{)}^{\frac{1}{2}}}\right)+\sum _{i=1}^{m_1}(-\frac{(x^{(i)}-{\mu }_1{)}^2}{2{\sigma }^2})+\sum _{i=1}^{m_0}\log \varphi +\sum _{i=1}^{m_0}(-\frac{(x^{(i)}-{\mu }_0{)}^2}{2{\sigma }^2})+\sum _{i=1}^{m_0}\log (1-\varphi )\\ & =\sum _{i=1}^m-\frac{1}{2}\log (2\pi {\sigma }^2)-\sum _{i=1}^{m_1}\frac{(x^{(i)}-{\mu }_1{)}^2}{2{\sigma }^2}-\sum _{i=1}^{m_0}\frac{(x^{(i)}-{\mu }_0{)}^2}{2{\sigma }^2}+\sum _{i=1}^{m_1}\log \varphi +\sum _{i=1}^{m_{-1}}\log (1-\varphi )\\ & =-\frac{m}{2}\log (2\pi {\sigma }^2)-\sum _{i=1}^{m_1}\frac{(x^{(i)}-{\mu }_1{)}^2}{2{\sigma }^2}-\sum _{i=1}^{m_0}\frac{(x^{(i)}-{\mu }_0{)}^2}{2{\sigma }^2}+m_1\log \varphi +m_0\log (1-\varphi )\end{array}$$
以上推导是我们将$x$看做一维数据进行推导，使用的也是一维高斯分布

现在让 $l$ 对各个变量求偏导，并置为0就能得到各个变量的取值:
∂ l ∂ ϕ = m 1 ϕ − m 0 1 − ϕ = 0 ⟹ ϕ = m 1 m = 1 m ∑ i = 1 m 1 { y ( i ) = 1 } \begin{align*} \frac{\partial l}{\partial \phi} &= \frac{m_1}{\phi} - \frac{m_{0}}{1 - \phi} \\ &=0 \end{align*}\Longrightarrow \phi=\frac{m_1}{m}=\frac{1}{m}\sum^{m}_{i=1}1\{y^{(i)}=1\} ∂ϕ∂l​​=ϕm1​​−1−ϕm0​​=0​⟹ϕ=mm1​​=m1​i=1∑m​1{y(i)=1}
∂ l ∂ μ 1 = − 1 2 σ 2 ∑ i = 1 m 1 2 ( x ( i ) − μ 1 ) ⋅ ( − 1 ) = 1 σ 2 ∑ i = 1 m 1 ( x ( i ) − μ 1 ) = 1 σ 2 ∑ i = 1 m 1 x ( i ) − ∑ i = 1 m 1 μ 1 = 1 σ 2 ( ∑ i = 1 m 1 { y ( i ) = 1 } x ( i ) − ∑ i = 1 m 1 { y ( i ) = 1 } μ 1 ) = 0 ⟹ μ 1 = ∑ i = 1 m 1 { y ( i ) = 1 } x ( i ) ∑ i = 1 m 1 { y ( i ) = 1 } \begin{align*} \frac{\partial l}{\partial \mu_1} &= -\frac{1}{2 \sigma ^2} \sum_{i=1}^{m_1} 2(x^{(i)} - \mu_1) \cdot (-1) \\ &= \frac{1}{\sigma ^2} \sum_{i=1}^{m_1} (x^{(i)} - \mu_1) \\ &= \frac{1}{\sigma ^2} \sum_{i=1}^{m_1} x^{(i)} - \sum_{i=1}^{m_1} \mu_1 \\ &= \frac{1}{\sigma ^2} \bigg( \sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 1\} x^{(i)} - \sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 1\} \mu_1 \bigg) \\ &=0 \end{align*}\Longrightarrow \mu_1 = \frac{\sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 1\} x^{(i)}}{\sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 1\}} ∂μ1​∂l​​=−2σ21​i=1∑m1​​2(x(i)−μ1​)⋅(−1)=σ21​i=1∑m1​​(x(i)−μ1​)=σ21​i=1∑m1​​x(i)−i=1∑m1​​μ1​=σ21​(i=1∑m​1{y(i)=1}x(i)−i=1∑m​1{y(i)=1}μ1​)=0​⟹μ1​=∑i=1m​1{y(i)=1}∑i=1m​1{y(i)=1}x(i)​
同理有：
μ 1 = ∑ i = 1 m 1 { y ( i ) = 0 } x ( i ) ∑ i = 1 m 1 { y ( i ) = 0 } \mu_1 = \frac{\sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 0\} x^{(i)}}{\sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 0\}} μ1​=∑i=1m​1{y(i)=0}∑i=1m​1{y(i)=0}x(i)​
$$\begin{array}{rl}\frac{\partial l}{\partial {\sigma }^2}& =-\frac{m}{2}\frac{1}{2\pi {\sigma }^2}2\pi -\sum _{i=1}^{m_1}\frac{(x^{(i)}-{\mu }_1{)}^2}{2}(-({\sigma }^2{)}^{-2})-\sum _{i=1}^{m_0}\frac{(x^{(i)}-{\mu }_0{)}^2}{2}(-({\sigma }^2{)}^{-2})\\ & =-\frac{m}{2{\sigma }^2}+\sum _{i=1}^{m_1}\frac{(x^{(i)}-{\mu }_1{)}^2}{2{\sigma }^4}+\sum _{i=1}^{m_0}\frac{(x^{(i)}-{\mu }_0{)}^2}{2{\sigma }^4}\\ & =0\end{array}$$
$$\begin{array}{rl}\frac{m}{2{\sigma }^2}& =\sum _{i=1}^{m_1}\frac{(x^{(i)}-{\mu }_1{)}^2}{2{\sigma }^4}+\sum _{i=1}^{m_0}\frac{(x^{(i)}-{\mu }_0{)}^2}{2{\sigma }^4}\\ m{\sigma }^2& =\sum _{i=1}^{m_1}(x^{(i)}-{\mu }_1{)}^2+\sum _{i=1}^{m_0}(x^{(i)}-{\mu }_0{)}^2\\ & =\sum _{i=1}^m(x^{(i)}-{\mu }_{y(i)}{)}^2\\ & =0\end{array}⟹{\sigma }^2=\frac{1}{m}\sum _{i=1}^m(x^{(i)}-{\mu }_{y(i)}{)}^2$$
对于更一般的多维情况，与一维情况下所做的相似，对数化为：
$$\begin{array}{rl}l(\varphi ,{\mu }_1,{\mu }_0,{\sigma }^2)& =\log \left[\right(\prod _{i=1}^{m_1}\frac{1}{(2\pi {)}^{n/2}{\left|\Sigma \right|}^{1/2}}\exp (-\frac{1}{2}(x^{(i)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_1)\left)\varphi \right)\left(\prod _{j=1}^{m_0}\frac{1}{(2\pi {)}^{n/2}{\left|\Sigma \right|}^{1/2}}\exp \right(-\frac{1}{2}(x^{(j)}-{\mu }_0{)}^T{\Sigma }^{-1}(x^{(j)}-{\mu }_0))(1-\varphi )\left)\right]\\ & =-\sum _{i=1}^m\log ((2\pi {)}^{n/2}{\left|\Sigma \right|}^{1/2})-\sum _{i=1}^{m_1}(\frac{1}{2}(x^{(i)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_1))-\sum _{i=1}^{m_0}(\frac{1}{2}(x^{(i)}-{\mu }_0{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_0))+m_1\log \varphi +m_0\log (1-\varphi )\\ & =-m(\frac{n}{2}\log (2\pi )+\log ({\left|\Sigma \right|}^{1/2}))-\sum _{i=1}^{m_1}(\frac{1}{2}(x^{(i)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_1))-\sum _{i=1}^{m_0}(\frac{1}{2}(x^{(i)}-{\mu }_0{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_0))+m_1\log \varphi +m_0\log (1-\varphi )\\ & =-\frac{mn}{2}\log (2\pi )-\frac{m}{2}\log (\left|\Sigma \right|)-\sum _{i=1}^{m_1}(\frac{1}{2}(x^{(i)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_1))-\sum _{i=1}^{m_0}(\frac{1}{2}(x^{(i)}-{\mu }_0{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_0))+m_1\log \varphi +m_0\log (1-\varphi )\end{array}$$

易知$\varphi$的推导与一维情况相同，计算${\Delta }_{{\mu }_1}l(有公式：{\nabla }_x{x}^{T}Ax=2Ax)$：
∇ μ 1 l = − ∑ i = 1 m 1 1 2 ⋅ 2 Σ − 1 ( x ( i ) − μ 1 ) ( − 1 ) = Σ − 1 ∑ i = 1 m 1 ( x ( i ) − μ 1 ) = Σ − 1 ( ∑ i = 1 m 1 { y ( i ) = 1 } x ( i ) − ∑ i = 1 m 1 { y ( i ) = 1 } μ 1 ) = 0 ⟹ μ 1 = ∑ i = 1 m 1 { y ( i ) = 1 } x ( i ) ∑ i = 1 m 1 { y ( i ) = 1 } \begin{align*} \nabla_{\mu_1} l &= - \sum_{i=1}^{m_1}\frac{1}{2} \cdot 2 \Sigma^{-1} (x^{(i)} - \mu_1)(-1) \\ &= \Sigma^{-1}\sum_{i=1}^{m_1}(x^{(i)} - \mu_1) \\ &= \Sigma^{-1} \bigg( \sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 1\} x^{(i)} - \sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 1\} \mu_1 \bigg)\\&=0 \end{align*}\Longrightarrow \mu_1 = \frac{\sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 1\} x^{(i)}}{\sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 1\}} ∇μ1​​l​=−i=1∑m1​​21​⋅2Σ−1(x(i)−μ1​)(−1)=Σ−1i=1∑m1​​(x(i)−μ1​)=Σ−1(i=1∑m​1{y(i)=1}x(i)−i=1∑m​1{y(i)=1}μ1​)=0​⟹μ1​=∑i=1m​1{y(i)=1}∑i=1m​1{y(i)=1}x(i)​
同理:
μ 0 = ∑ i = 1 m 1 { y ( i ) = 0 } x ( i ) ∑ i = 1 m 1 { y ( i ) = 0 } \mu_0 = \frac{\sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 0\} x^{(i)}}{\sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 0\}} μ0​=∑i=1m​1{y(i)=0}∑i=1m​1{y(i)=0}x(i)​
已知:
$$\begin{array}{rl}{\nabla }_A\log |A|& =\frac{1}{|A|}{\nabla }_A|A|=A^{-1}\\ {\nabla }_A{x}^{T}Ax& =x{x}^T\end{array}$$
$$\begin{array}{rl}{\nabla }_{{\Sigma }^{-1}}(-\frac{m}{2}\log (\left|\Sigma \right|))& ={\nabla }_{{\Sigma }^{-1}}(-\frac{m}{2}\log (\frac{1}{\left|{\Sigma }^{-1}\right|}\left)\right)\\ & ={\nabla }_{{\Sigma }^{-1}}(\frac{m}{2}\log (\left|{\Sigma }^{-1}\right|))\\ & =\frac{m}{2}({\Sigma }^{-1}{)}^{-1}\\ & =\frac{m}{2}\Sigma \end{array}$$
$$\begin{array}{rl}& {\nabla }_{{\Sigma }^{-1}}(-\sum _{i=1}^{m_1}(\frac{1}{2}(x^{(i)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_1))-\sum _{i=1}^{m_{-1}}(\frac{1}{2}(x^{(i)}-{\mu }_{-1}{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_{-1})\left)\right)\\ & =-\sum _{i=1}^{m_1}(\frac{1}{2}(x^{(i)}-{\mu }_1)(x^{(i)}-{\mu }_1{)}^T)-\sum _{i=1}^{m_{-1}}(\frac{1}{2}(x^{(i)}-{\mu }_{-1})(x^{(i)}-{\mu }_{-1}{)}^T)\\ & =-\frac{1}{2}\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}})(x^{(i)}-{\mu }_{y^{(i)}}{)}^T\end{array}$$
把这两部分集合起来，设为0:
$$\begin{array}{rl}\frac{m}{2}\Sigma -\frac{1}{2}\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}})(x^{(i)}-{\mu }_{y^{(i)}}{)}^T& =0\\ \Sigma =\frac{1}{m}\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}})(x^{(i)}-{\mu }_{y^{(i)}}{)}^T& \end{array}$$
综合有：
ϕ = 1 m ∑ i = 1 m 1 { y ( i ) = 1 } μ 1 = ∑ i = 1 m 1 { y ( i ) = 1 } x ( i ) ∑ i = 1 m 1 { y ( i ) = 1 } μ 0 = ∑ i = 1 m 1 { y ( i ) = 0 } x ( i ) ∑ i = 1 m 1 { y ( i ) = 0 } Σ = 1 m ∑ i = 1 m ( x ( i ) − μ y ( i ) ) ( x ( i ) − μ y ( i ) ) T \begin{align} \phi&=\frac{1}{m}\sum^{m}_{i=1}1\{y^{(i)}=1\}\\ \mu_1 &= \frac{\sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 1\} x^{(i)}}{\sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 1\}}\\ \mu_0 &= \frac{\sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 0\} x^{(i)}}{\sum_{i=1}^{m} \mathbb{1}\{y^{(i)} = 0\}}\\ \Sigma &= \frac{1}{m} \sum_{i=1}^{m} (x^{(i)} - \mu_{y^{(i)}}) (x^{(i)} - \mu_{y^{(i)}})^T \end{align} ϕμ1​μ0​Σ​=m1​i=1∑m​1{y(i)=1}=∑i=1m​1{y(i)=1}∑i=1m​1{y(i)=1}x(i)​=∑i=1m​1{y(i)=0}∑i=1m​1{y(i)=0}x(i)​=m1​i=1∑m​(x(i)−μy(i)​)(x(i)−μy(i)​)T​​
将求出来的上述参数代入计算$p(y^{(i)}=0|x^{(i)}),p(y^{(i)}=1|x^{(i)})$两个概率值来判断$x^{(i)}$属于哪个类别。