概率图模型&概率模型及其应用

「已注销」

已于 2022-05-07 01:51:08 修改

阅读量1.3k

点赞数

文章标签：抽象代数概率论

于 2022-04-13 17:21:31 首次发布

本文链接：https://blog.csdn.net/int_main_Roland/article/details/124152853

版权

文章目录

概率图模型
- 有向 vs 无向
概率模型
应用例子1 BM RBM
应用示例2 概率图模型中网络结构估计

概率图模型

有向 vs 无向

概率图模型用图刻画一组随机变量之间的相关关系. 有向(无环)图刻画的概率图模型称作 bayesian network, 无向图刻画的概率图模型称作 markov network.

有向图模型和无向图模型直观的区别在于“因果性”, 本质的区别在于两种模型建模了不同的独立关系.例如,从 independence map 的角度: 有向图模型无法表示无向环形关系, 无向图模型无法表示有向 V 形结构.

无向图模型

$\Pr(s) = \frac{1}{Z} \prod_{C} \phi_C(s_C)$

有向图模型

$\Pr(s) = \prod_i \Pr(s_i \vert \mathrm{parent}(s_i))$

概率模型

参数估计

参数分布

$\Pr(\theta \vert S) \propto \Pr(\theta) \Pr(S \vert \theta)$

极大后验

$\arg \max_{\theta} \Pr(\theta \vert S) = \arg \max_{\theta} \Pr(\theta) \Pr(S \vert \theta)$

极大似然 (极大后验的基础上假定参数的先验均匀)

$\arg \max_{\theta} \Pr(\theta \vert S) = \arg \max_{\theta} \Pr(S \vert \theta)$

隐变量估计

极大似然

$\arg \max_{\theta} \Pr(\theta \vert S) = \arg \max_{\theta} \Pr(S \vert \theta) = \arg \max_{\theta} \sum_{Z} \Pr(S,Z \vert \theta)$

似然下界

weighted algebra geometry inequality 角度:

$\sum_{Z} \Pr(S,Z \vert \theta) = \sum_{Z} \Pr(Z \vert \eta) \frac{\Pr(S,Z \vert \theta)}{\Pr(Z \vert \eta)} \geqslant \prod_{Z} \left( \frac{\Pr(S,Z \vert \theta)}{\Pr(Z \vert \eta)} \right)^{\Pr(Z \vert \eta)}$

jensen’s inequality 角度:

$\log \sum_{Z} \Pr(S,Z \vert \theta) = \log \sum_{Z} \Pr(Z \vert \eta) \frac{\Pr(S,Z \vert \theta)}{\Pr(Z \vert \eta)} \geqslant \sum_{Z} \Pr(Z \vert \eta) \log \frac{\Pr(S,Z \vert \theta)}{\Pr(Z \vert \eta)}$

$\begin{aligned} \sum_{Z} \Pr(Z \vert \eta) \log \frac{\Pr(S,Z \vert \theta)}{\Pr(Z \vert \eta)} &= \sum_{Z} \Pr(Z \vert \eta) \log \Pr(S,Z \vert \theta) - \sum_{Z} \Pr(Z \vert \eta) \log \Pr(Z \vert \eta) \\ &= \sum_{Z} \Pr(Z \vert \eta) \log \Pr(S,Z \vert \theta) + \mathrm{Entropy}(\Pr(Z \vert \eta)) \\ \end{aligned}$

最低0.47元/天解锁文章

「已注销」

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
概率图模型&概率模型及其应用

概率图模型有向 vs 无向概率图模型用图刻画一组随机变量之间的相关关系. 有向(无环)图刻画的概率图模型称作 bayesian network, 无向图刻画的概率图模型称作 markov network.有向图模型和无向图模型直观的区别在于“因果性”, 本质的区别在于两种模型建模了不同的独立关系.例如,从 independence map 的角度: 有向图模型无法表示无向环形关系, 无向图模型无法表示有向 V 形结构.无向图模型Pr⁡(s)=1Z∏CϕC(sC) \Pr(s) = \frac{1}
复制链接

扫一扫