【白板推导系列笔记】线性分类-高斯判别分析（Gaussian Discriminant Analysis）-模型定义

{ ( x i , y i ) } i = 1 N , x i ∈ R p , y i ∈ { 0 , 1 } \begin{gathered} \left\{(x_{i},y_{i})\right\}_{i=1}^{N},x_{i}\in \mathbb{R}^{p},y_{i} \in \left\{0,1\right\} \end{gathered} { (xi​,yi​)}i=1N​,xi​∈Rp,yi​∈{ 0,1}​
逻辑回归是直接对$p(y|x)$建模，而高斯判别分析作为概率生成模型，是通过引入类型的先验，通过贝叶斯公式，得到联合分布$p(x,y)=p(x|y)p(y)$，再对联合分布的对数似然得到参数

贝叶斯公式为
$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}$$

但是由于我们只关心 p ( y = 1 ∣ x ) = p ( x ∣ y = 1 ) p ( y = 1 ) p ( x ) \begin{aligned} p(y=1|x)=\frac{p(x|y=1)p(y=1)}{p(x)}\end{aligned} p(y=1∣x)=