贝叶斯统计推断（一）

• 概率与统计的区别
  概率论是自我完善的数学课题，通常假设有一个完整的特定概率模型满足这些概率公理．然后运用数学方法对这个概率模型进行量化， 以及回答感兴趣的问题。结论具有唯一性。
  而对一个具体的问题，统计学存在很多合理的方法，可得出不同的结论． 一般而言， 除非人们可对所研究的问题施加一些假设或者附加约束条件， 在这些条件下进行推断， 得到“理想”的结论，否则没有一个绝对的准则来选择“最好”的方法。

• 贝叶斯统计与经典统计
  在统计领域内有两个突出的学派：贝叶斯学派和经典学派，他们之间最重要的区别是：如何看待未知模型或者变量。贝叶斯学派将其看成是已知分布的随机变量；而经典统计学派将其看成未知的待估计量。
  贝叶斯方法将统计拉回概率论范畴，使得每个问题都有唯一答案。当欲对未知模型进行推断时，贝叶斯方法将该模型看成是随机地从已知的一类模型中选出来的。处理方法是引入一个随机变量来刻画该模型，然后构造一个先验概率分布，在已知数据的情况下用贝叶斯公式推导后验概率分布。
  相反，经典统计方法将未知参数视为常数，但是未知就需要估计，然后经典统计方法提出估计方法，它处理的将不上一个概率模型，而是多个待选的概率模型，每个标记为待估参数的一个可能值。

• 模型推断和变量推断
  在模型推断中，研究目标是物理现象或过程，基于得到的数据为这些物理现象或过程构造或验证一个模型。利用这样的模型就可以对未来进行预测，或者推知许多未知的原因。
  在变量推断中，人们使用许多相关的，或者带有噪声的信息估计一个或者多个变量值。

• 主要术语
  贝叶斯统计：将未知参数视为已知先验分布的随机变量；
  参数估计：对参数进行估计，使得某种概率意义下估计值接近真实值；
  贝叶斯推荐的主要方法：
  （1）最大后验概率（MAP)准则：在可能的参数/假设的取值范围内，选择一个在给定数据下，具有最大化条件概率/后验概率的值；
  （2）最小均方（LMS)估计：选择数据的一个估计量或者函数，使得参数与估计之间的均方误差达到最小；
  （3）线性最小均方（LLMS)估计：选择数据的一个线性函数，使得参数与估计之间的均方误差达到最小

• 贝叶斯推断
  （1） 起点是未知随机变量$\Theta$的先验分布$p_{\Theta }$或者$f_{\Theta }$.
  （2）得到测量向量X的条件分布$p_{X|\Theta }$或者$f_{X|\Theta }$
  （3）一旦X的一个特定值x观测到后，运用贝叶斯法则计算$\Theta$的后验分布。

• 举例1
  设随机变量观测值 $X=\left(X_1,\cdots ,X_n\right)$ 具有相同的均值, 但是均值未知, 需要估计. 假设给定均值的条件下，X ${}_i$ 是正态的 且相互独立, 方差分别为 ${\sigma }_1^2,\cdots ,{\sigma }_n^2.$ 使用贝叶斯方法, 我们对均值进行建模, 设 $X_i$ 的公共均值为随机变量 $\Theta$, 且己知其先验分布. 具体而言, 我们假设随机变量 $\Theta$的 分布为正态分布, 均值已知为 $x_0,$ 方差为已知