统计是一门艺术（Bayes方法和统计决策理论）

1.贝叶斯公式

离散形式的贝叶斯公式：

为完备事件组，即为

原因和结果倒置，执果索因

连续形式的贝叶斯公式：

2.频率派和贝叶斯派

三种信息：

a.总体信息

b.样本信息

c.先验信息

将未知参数看作是随机变量

其中频率派使用前两种信息，贝叶斯派加入了先验信息

3.先验信息与后验信息

先验信息：在取得样本之前对未知参数的认识

是贝叶斯学派推断的出发点

4.利用先验信息确定先验分布

（1）直方图

根据已有的数据绘制频率直方图，根据直方图绘制密度曲线，所得曲线即为先验密度曲线

（2）相对似然法

（3）选定先验密度函数的形式，再估计超参数

未知参数分布中的未知参数称为超参数

使用分位数：

均匀分布（0，1）是特殊的贝塔分布

柯西分布是自由度为1的t分布

卡方分布是特殊的伽马分布

（4）无信息先验

我们不关心先验概率分布的形式，我们只关心后验概率分布的形式，通过不断的迭代修正后验概率分布。

a.均匀分布与广义先验分布

例：

未知参数的点估计是与频率派一致

b.位置参数的无信息先验

方差已知的正态分布是一种位置参数的无信息先验

c.刻度参数无信息先验

d.一般情形下的无信息先验

例：

e.共轭先验分布

例：

当样本为二项分布时，参数p的共轭先验分布是Beta分布族

5.如何确定后验分布

观察公式：分母与未知参数无关

故该式可以写成

进一步，若仍有与未知参数无关的量：

后续只需要将其修正为概率为1的密度函数即可

a.写出后验密度函数的核，即为

b.将其变成概率为1的概率密度函数

注意：

此方法对无信息先验和共轭先验分布比较有效

例2：

找出只与未知参数有关的量，若把前面的看作是的联合分布，则下面求出的是x的边缘密度函数，即未知参数为已知值

如何求解n维样本x，为充分统计量，根据因子分解定理

即为

当样本分布为方差已知的正态分布时，则均值参数的共轭先验分布族是正态分布族.

例3：

此例表明当样本分布为Gamma分布,其中r已知时,则入的共轭先验是Gamma分布族

例4：

因此当样本分布为正态分布,均值参数已知,则的共轭先验是逆 Gamma 分布族.

6.Bayes统计推断

（1）Bayes点估计方法

例1：

例2：

说明：

例3：

例：

（2）Bayes点估计的精度——估计的误差（PMSE）

例：

(2)区间估计

可信区间与置信区间的区别：

最大的区别是置信区间中把未知参数看作一个常数

而可信区间把未知参数看作一个随机变量

故置信区间的1-=0.9是指进行100次重复使用这个区间，有90次可以覆盖未知参数

故可信区间的1-=0.9是未知参数落入这个区间的概率为0.9

直接计算即可，因为是未知参数的概率分布

越靠近0，高度越高，那么宽度就越低，即为区间越短

（3）假设检验

（4）预测推断

基本思想：将前面的未知参数的后验分布作为未来预测时刻的前验分布，获得未来时刻的z与未知参数的联合分布，之后对未知参数求积分来获得概率密度函数。

例：

7.Bayes统计决策理论

（1）统计决策三要素和贝叶斯统计决策四要素

a.样本空间和样本分布族

b.行动空间（所有可能行动的集合）

c.损失函数（由某一个行动所带来的损失）

d.先验分布

（2）风险函数和一致最优决策函数

（3）Bayes准则

（4）后验风险最小

（5）后验风险与Bayes风险之间的关系

（6）后验最小原则：

（7）一般损失函数下的 Bayes 估计：

例：