浅谈先验分布和后验分布

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转自：机器学习算法那些事

上文提到贝叶斯定理是先验分布和后验分布转换的桥梁，贝叶斯学派计算参数后验分布的难点在于如何选择参数的先验分布，本文通过二项式分布的例子来形象的表达如何选择先验分布和计算后验分布，并阐述了先验分布和后验分布是如何转换的，最后对本文进行总结。

共轭先验分布

定义

当先验分布和后验分布相同时，先验分布和后验分布为共轭先验。

条件

为了满足共轭先验这一条件，先验分布和似然函数分布应相同。

目的

先验分布和后验分布按照人的直观来说应是相同的，且可以形成一个先验链，即随着新观测数据的增加，当前参数的后验分布成为前验分布，新观测数据下的参数分布为后验分布。

先验分布和后验分布的转化过程

连续采样新的观测数据时，当前参数的概率分布为先验分布，计算新采集的数据（可能是一个或一组）的似然函数，计算先验分布和似然函数的乘积，并对该乘积结果进行归一化，得到参数的后验分布，若又有新的观测数据时，则重复以上过程，更新参数的后验分布。

先验分布和后验分布关系的应用举例

【例】用一个二值随机变量x表示抛硬币的结果，1表示正面，0表示反面。假设该硬币的正反两面的概率不相同，且正面概率为参数u，若抛掷N次，正面向上的次数为m，反面向上的此时为l。求（1）参数u的后验概率分布，（2）若连续抛掷硬币，求先验分布和后验分布参数的关系，（3）正面向上的概率

解：（1）多次抛硬币符合二项式分布，正面向上次数为m的概率为：

为了满足共轭先验的条件，参数u的先验分布也应与似然函数的分布相同。即选择参数u的先验分布为beta分布，如下：

等式右边的系数部分是为了满足先验分布的标准化，即：

参数u的先验分布的期望：

后验分布等于前验分布和似然函数的乘积，并对该结果进行标准化，得到该参数的后验分布。

后验分布形式：

标准化后的结果：

（2）连续抛掷硬币时，当前的参数分布为先验分布，与新采样数据的似然函数进行乘积，再对该结果进行标准化。容易知道，后验分布的形式保持不变，指数发生变化。

比较数据集似然函数的二项式分布和beta分布，可知a表示正面向上的次数，b表示反面向上的次数，由（1）的后验概率分布可知，当新数据的抛掷结果为m次正面向上，l次反面向上，那么后验概率分布的指数表示m+a次正面向上，l+b次反面向上，以此递推。

若a=1，b=1，参数u的先验分布为：

当观测新数据为1次正面向上(m=1)，2次反面向上(l=2)，则后验分布的指数表示2次正面向上，3次反面向上。

后验分布如下图：

（3）根据贝叶斯的求和准则与求积准则，参数u的分布采用后验分布，得：

参考先验分布的参数u的期望，可得后验分布：

总结

后验分布等于先验分布与似然函数乘积的标准化，共轭先验的目的在于使先验分布和后验分布保持同一形式，形成先验链，当有新的观测数据时，当前的分布成为先验分布，重新计算参数的后验分布。

参考：

Christopher M.Bishop <<Pattern Reconition and Machine Learning>>

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~