【温故而知新】高斯判别分析(Gaussian Discriminant Analysis)

caicaiatnbu

于 2020-02-05 22:41:42 发布

阅读量803

点赞数

分类专栏： ML算法实现-python

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/caicaiatnbu/article/details/104187783

版权

本文介绍了高斯判别分析（GDA），一种基于贝叶斯公式和高斯分布的概率生成模型。通过建模联合概率，GDA用于分类任务，尤其关注后验概率的比较。内容涵盖了GDA的基本假设、似然函数、最大后验估计以及参数求解过程，详细阐述了如何求解未知量，为理解和应用GDA提供了清晰的路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

给定数据集 $D=\left \{(x_i,y_i)_{i=1}^N,x_i \in \mathbb{R}^p, y_i \in \{0, 1\} \right \}$ ；

概率判别模型是直接去求 P(y|x) ，如下：

$\hat{y}=\arg \max_{y\in\{ 0,1 \}}P(y|x)$

高斯判别分析是一种概率生成模型，这里我们需要最大化后验概率估计，对于二分类，高斯判别分析并不是直接去求 P(y=0|x) 和 P(y=1|x) 的值，而是去比较与的大小关系,而是对联合概率进行建模；由贝叶斯公式可知，

$P(y|x)=\frac{P(x|y) \cdot P(y)}{P(x)} \propto P(x|y) \cdot P(y)=P(x,y)$

此处，与 P(x) 无关，所以 P(y|x) 正比于 $P(x|y) \cdot P(y)$ ，其中， P(y|x) 是posterior， P(x|y) 是likehood， P(y) 是piror。

GDA假设：

$y \sim Bernouni(\varnothing )$

$x|y=1 \sim N(\mu_1, \sigma )$

$x|y=0 \sim N(\mu_2, \sigma )$

由于服从伯努利分布，所以 $P(y)=\varnothing ^y(1 -\varnothing) ^{1-y}$ ,而 $P(x|y)=P(x|y=1)P(x|y=0)=N(\mu_1, \sigma)^yN(\mu_2, \sigma)^{1-y}$ , 这里先不将高斯分布的概率密度函数展开写。

likehood: $L(\theta)=\log \prod_{i=1}^{N}P(x_i,y_i)$

$=\sum_{i=1}^{N} \log \left \{P(x_i|y_i)P(y_i) \right \}$

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。