UA MATH567 高维统计专题0 为什么需要高维统计理论？——以线性判别分析为例

最新推荐文章于 2022-07-21 04:23:35 发布

一个不愿透露姓名的孩子

最新推荐文章于 2022-07-21 04:23:35 发布

阅读量504

点赞数 1

分类专栏： # 高维统计文章标签：机器学习算法统计学

本文链接：https://blog.csdn.net/weixin_44207974/article/details/112915197

版权

UA MATH567 高维统计专题0 为什么需要高维统计理论？——以线性判别分析为例

- 线性判别分析基础
- - 理论
  - 算法

线性判别分析基础

理论

我们回顾一下二元假设检验问题，它的目标是判断某一个observation $\in \mathbb{R}^d$ 到底属于总体 $P_1$ 还是 $P_2$ ，在统计理论中，Neyman-Pearson引理说明了似然比检验是最优检验，也就是基于 $\log \frac{P_2(x)}{P_1(x)}$ 导出的检验统计量与拒绝域是最优的。现在我们考虑线性判别分析的设定，假设两个总体分别是 $N(\mu_1,\Sigma),N(\mu_2,\Sigma)$ ，则给定某个observation $\in \mathbb{R}^d$ ，对数似然比为（多元正态分布的概率密度参考我之前这一篇）
$\log \frac{P_1(x)}{P_2(x)}=\log \frac{(2\pi)^{-d/2}|\Sigma|^{-1/2}\exp \left( -\frac{1}{2}(x-\mu_1)'\Sigma^{-1}(x-\mu_1) \right)}{(2\pi)^{-d/2}|\Sigma|^{-1/2}\exp \left( -\frac{1}{2}(x-\mu_2)'\Sigma^{-1}(x-\mu_2) \right)} \\ = \frac{1}{2}(x-\mu_2)'\Sigma^{-1}(x-\mu_2) -\frac{1}{2}(x-\mu_1)'\Sigma^{-1}(x-\mu_1) \\ = \frac{1}{2}(x-\mu_1+(\mu_1-\mu_2))'\Sigma^{-1}(x-\frac{\mu_1+\mu_2}{2}+\frac{\mu_1+\mu_2}{2}-\mu_2) \\-\frac{1}{2}(x-\mu_1)'\Sigma^{-1}(x-\frac{\mu_1+\mu_2}{2}+\frac{\mu_1+\mu_2}{2}-\mu_1) \\ = \frac{1}{2}(x-\mu_1)'\Sigma^{-1}(x-\frac{\mu_1+\mu_2}{2})+\frac{1}{2}(\mu_1-\mu_2)'\Sigma^{-1}(x-\frac{\mu_1+\mu_2}{2}) \\ +\frac{1}{4}(x-\mu_1)'\Sigma^{-1}(\mu_1-\mu_2)+\frac{1}{4}(\mu_1-\mu_2)'\Sigma^{-1}(\mu_1-\mu_2) \\ - \frac{1}{2}(x-\mu_1)'\Sigma^{-1}(x-\frac{\mu_1+\mu_2}{2})-\frac{1}{4}(x-\mu_1)'\Sigma^{-1}(\mu_1-\mu_2) \\ = \frac{1}{2}(\mu_1-\mu_2)'\Sigma^{-1}(x-\frac{\mu_1+\mu_2}{2})+\frac{1}{4}(\mu_1-\mu_2)'\Sigma^{-1}(\mu_1-\mu_2) \\ \propto \Psi(x)=(\mu_1-\mu_2)'\Sigma^{-1}(x-\frac{\mu_1+\mu_2}{2})$

最低0.47元/天解锁文章

一个不愿透露姓名的孩子

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
UA MATH567 高维统计专题0 为什么需要高维统计理论？——以线性判别分析为例

UA MATH567 高维统计专题0 多元统计方法在高维时会出什么问题？——以线性判别分析为例线性判别分析基础线性判别分析基础我们回顾一下二元假设检验问题，它的目标是判断某一个observation x∈Rdx \in \mathbb{R}^dx∈Rd到底属于总体P1P_1P1还是P2P_2P2，在统计理论中，Neyman-Pearson引理说明了似然比检验是最优检验，也就是基于log⁡P2(x)P1(x)\log \frac{P_2(x)}{P_1(x)}logP1(x)P2(x)导出的检
复制链接

扫一扫