贝叶斯 - 《贝叶斯统计》笔记

《贝叶斯统计 - 茆诗松》

茆诗松《贝叶斯统计》目前看过的讲贝叶斯方法最通俗易懂的书了 下载了在这里

第一章 先验分布和后验分布

1.1 三种信息

 统计学的两个主要学派：频率学派，贝叶斯学派
 统计推断的三种信息：
1）总体信息：总体分布，总体所属分布族提供的信息。
2）样本信息：从总体抽样的样本提供的信息。通过对样本的加工处理对总体特征进行估计。
----------------------- 基于以上两种信息的统计推断为“经典统计学”。
----------------------- 基本观点：把数据（样本）看做总体（具有一定概率分布的总体）
3）先验信息：抽样之前有关统计问题的一些信息。来源于经验和历史资料。
----------------------- 基于以上三种信息的统计推断为“贝叶斯统计学”
 贝叶斯统计重视已经发生的样本观察值。
 贝叶斯学派基本观点：任一未知量θ，都具有不确定性，可以看做一个随机变量，可以用一个概率分布来描述（概率分布适合描述不确定性）。这个概率分布就是θ的先验（Prior）分布（抽样前已知的描述）
如：极有可能是40岁左右。
分析：“极有可能”表示90%的把握。“左右”可理解为上下偏差3岁。假设年龄为未知变量θ，那么对这段话的概率分布描述如下
 
其一、对于未知变量θ可以谈论其概率，如P(37≤θ≤43)=0.9（贝叶斯学派把未知变量看做是随机变量，可以讨论起概率）
而在经典统计学认为未知变量虽然其具体值未知，但是是确定的，因此对于经典统计学，P(37≤θ≤43)=1或0（事件发生或不发生），而不能P(37≤θ≤43)=0.9
其二、这个“极有可能是40岁左右”的概率分布是根据经验推断得到的，而不是根据样本数据得到的。在贝叶斯统计中称为先验概率（主观概率）
而频率学派中不存在主观的推断，只存在从样本数据统计得来的客观频率。
（贝叶斯学派：使用主观概率将概率统计的研究推广到不能大量的重复随机中来）
对于误用主观概率的情况，Berger（1995）给出的建议是：1、进行教育；2、分开列出，以便后人评判。

1.2 贝叶斯公式

 事件形式 

 随机变量的密度函数：
经典统计中记为p(x; θ)或pθ(x)，表示在参数空间Θ={θ}中不同的θ对应着不同的分布
贝叶斯统计中记为p(x|θ)，表示随机变量θ给定某个值是，x的条件分布。
 先验分布π(θ)，贝叶斯学派研究重点
 贝叶斯观点的样本x=(x1,…,xn)产生：
step1、根据先验分布π(θ)产生样本θ’，这一步是老天爷做的，人们看不到。（这是样本产生的假设，假设样本θ’是根据先验分布π(θ)产生的）
step2、从总体分布p(x|θ’)产生一个样本x=(x1,…,xn)，这个是人产生的具体样本。得到这个样本的概率由如下概率密度函数描述
  （似然函数）
这个概率密度函数综合了“总体信息”和“样本信息” => 被称为 “似然函数”L(θ’)
step3、由于样本θ’的产生是在先验概率π(θ)的假设基础上的，因此不能只考虑θ’一个值，而要考虑全部可能值（概率分布，也就是π(θ)），因此得到样本x和参数θ的联合概率分布h(x|θ)=p(x|θ) π(θ) （综合了三种信息）
 目标：对未知参数θ进行统计推断（估计）
没有样本x之前，只能根据假设（先验分布π(θ)）进行推断
得到样本x之后，可依据h(x, θ)进行推断。因此，h(x, θ)可以分解为两部分：与θ有关的π(θ|x)和与θ无关的m(x)。也就是h(x|θ)= π(θ|x)m(x)。

m(x)为x的边缘概率密度函数，与θ无关（不包含任何θ信息） 

因此只能由π(θ|x)对θ作出推断，π(θ|x)为给定样本x情况下θ的分布（后验分布：集中了总体、样本、先验三种信息，排除了无关信息后得到的）
 概率密度函数形式

θ为连续随机变量