指数族分布以及共轭先验

最新推荐文章于 2022-08-09 20:16:36 发布

XiaomengYe

最新推荐文章于 2022-08-09 20:16:36 发布

阅读量3.8k

收藏 5

点赞数 1

分类专栏：概率与统计

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/xiaomeng29/article/details/88119541

版权

概率与统计专栏收录该内容

1 篇文章 0 订阅

订阅专栏

我们在大学中学到的概率分布有一大部分属于指数族分布，该类分布有一些共同的重要特性。

概率密度形式

指数族分布的概率密度函数形式可以表达为：

$p(x;\eta ) = h(x) exp(T(x)^T\eta - A(\eta))$

其中可以把其看做三个部分，包含x的h(x)、包含x和 $\eta$ 的 $T(x)^T\eta$ 还有包含 $\eta$ 的 $A(\eta)$ 。我们把 $\eta$ 称为自然参数（natural parameters）， T(x) 称为充分统计量（sufficient statistic）， $A(\eta)$ 称为 log normalizer（它确保概率积分结果为1，实际上指数族分布做积分使结果为1，可以得到 $A(\eta) = log \int h(x) exp(T(x)^T\eta) dx$ ）。

指数族分布的最大似然方法（MLE）

指数族分布的最大似然的求解是非常方便的，它有统一的格式。

$L(\eta) = argmax_\eta log(\prod _i^Np(x_i|\eta)) \\ = argmax_\eta \prod _i^N h(x_i) exp(T(x_i)^T\eta - A(\eta)) \\ = argmax_\eta \prod _i^N h(x_i) \cdot exp(\sum_i^N T(x_i)^T\eta - NA(\eta)) \\ = argmax_\eta \sum_i^N T(x_i)^T\eta - NA(\eta)$

我们使上式求导等于0，可以得到

${A}'(\eta) = \frac{1}{N} \sum_i^N T(x_i)$

共轭先验

我们知道，后验概率正比于似然概率和先验概率（例如，随机变量有样本D，分布参数为w，则有）：

$postierior \propto likelyhood \cdot pretierior$

那么什么是共轭先验呢？对于似然函数来说，如果某一个先验概率使得其对应的后验概率和先验是同一种分布，那么该先验概率就是共轭的。注意，共轭先验是对于某个似然函数来定义的。

如果似然概率是指数族分布，那么我们一定可以找到其对应的共轭先验。此处证略，有兴趣可以参考prml。

参考文献

[1] 徐亦达机器学习视频(bilibili)

[2] Pattern Recognition and Machine Learning

XiaomengYe

关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值