统计推断-经典统计推断

基本问题

• 统计推断是什么？
  统计推断是从观测数据推断未知变量或未知模型的有关信息的过程。
• 统计推断的用途是什么？
  统计推断可用于“参数估计”,“假设检验”，“显著性检验”
• 统计推断的研究思路是什么?
  主要有两种思路:“贝叶斯统计推断” 和“经典统计推断”。(大局方法)
• 统计推断具体使用的"算法"有哪些？
  最大后验概率准则,最小均方估计，最大似然估计，回归，似然比检验等。(小方法)

统计学与概率论

“统计学”与“概率论”在认识论上有明显的区别。
概率论是建立在概率公理上的系统自我完善的数学课题。我们会假设一个完整的特定的概率模型满足概率公理，然后用数学方法研究模型的一些性质。概率模型无需与现实世界相一致，它值对概率公理负责。
统计学是针对一个具体的问题，寻求合理的研究方法，希望得到合理的结论。这就存在很大的自由度，采取不同的研究方法，结论可能不同。通常我们会附加一些限制条件，以便得到“理想结论”。

正是由于统计学的这种特征，现实社会存在许多人为制造的"理想结论"，这些结论可能来源于真实的数据，但研究方法是人为选定的。

贝叶斯统计与经典统计

贝叶斯统计与经典统计(频率学派)是两种突出但对立的思想学派。
最重要的区别就是如何看待未知模型或变量。贝叶斯学派将其看成已知分布的随机变量。而经典统计将其看成未知的待估计的量。
贝叶斯方法将统计拉回“概率论”的研究领域，使得每个问题只有一个答案。经典统计将未知量看作一种参数，它是一个常数，未知需要估计。
从现实角度来看，贝叶斯统计主张将假设的先验分布公开，即研究过程公开了。贝叶斯统计推断涉及到多维度积分，计算困难，所以贝叶斯学派的最新成功可能集中于如何计算上。

推断模型与推断变量

这两种问题有细微的区别。推断模型是为了研究某种现象或过程的一般规律，以期能够预测未来现象的结果。推断变量是从已知的量，推测未知的量，例如从gps信息推断所处于的位置。

术语解释

• 参数估计:对参数进行估计，使得在某种概率意义下估计接近真实值。
• 假设检验:未知参数根据对立的假设可能取有限个值，选择一个假设，目标是使犯错误的概率最小。
• 显著性检验：对于一个给定的假设，希望发生错误(“接受错误”与“拒绝正确”)的概率适当地小.
• 最大似然估计:在选择参数$\theta$时，使得观测数据最有可能出现，即观测到当前数据的概率达到最大。
• 线性回归：对于给定的一组观测数据，采用线性拟合的方式建立模型。约束条件是使观测数据与模型值的差的平方和最小。(最小二乘法)
• 似然比检验:对于给定的两个假设，根据他们发生的可能性的比值选择其中一个，使得犯错的概率适当小。

经典参数估计

虽然把$\theta$当作常数，而不是随机变量，但仍然把$\theta$估计量当作随机变量$\hat{\Theta }$，因为$\hat{\theta }$一般而言是$x$的函数,$\hat{\theta }=g(x)$，所以也有:$\hat{\Theta }=g(X)$。也可以写成$\hat{\Theta }=g(X;\theta )$，这个式子的意思是$\hat{\Theta }$是$\theta$的数值函数。

术语

${\hat{\Theta }}_n$是未知参数$\theta$的估计量，也即$n$个观测$X_1,X_2,...,X_n$($X$的分布依赖于$\theta$)的函数:

• 估计误差:${\tilde{\Theta }}_n={\hat{\Theta }}_n-\theta$
• 估计量偏差:$b_{\theta }({\hat{\Theta }}_n)=E(\hat{\Theta })-\theta$
• 估计量的偏差，方差，期望是\theta的函数，而估计误差是$(X_1,X_2,....,X_n,\theta )$的函数
• 无偏估计的定义:如果$E(\hat{\Theta })=\theta$对$\theta$所有可能的取值都成立
• 渐进无偏的定义:如果${\lim }_{n\to \infty }E({\hat{\Theta }}_n)=\theta$.
• 称$\hat{\Theta }$是$\theta$的相合估计序列，如果对于所有的$\theta$可能的取值，$\hat{\Theta }$依概率收敛到参数$\theta$的真值:$\forall ϵ>0,{\lim }_{n\to \infty }P(|\hat{\Theta }-\theta |>ϵ)=0.$
• $E({\tilde{\Theta }}^2)=E[({\hat{\Theta }}_n-\theta {)}^2]=var({\hat{\Theta }}_n-\theta )+E^2({\hat{\Theta }}_n-\theta )=var({\hat{\Theta }}_n)+b_{\theta }^2(\hat{\Theta })$,这个式子建立了估计均方误差、估计量方差、估计偏差的关系。可以看出均方误差也是$\theta$的函数。如果均方误差不变，则减小方差会增大偏差，减小偏差会增大方差。

最大似然估计

定义:设观测向量$X=(X_1,X_2,...,X_n)$的联合分布列为$p_{X_1,X_2,..,X_n}(x_1,x_2,...,x_n;\theta )=p_X(x_1,x_2,...,x_n;\theta )$,最大似然估计就是寻求参数$\theta =\hat{\theta }$使得关于$\theta$的函数$p_X(x_1,x_2,...,x_n;\theta )$达到最大,即寻求参数$\theta =\hat{\theta }$使得观测值$X$最有可能出现。
当$X$为连续随机变量时,$p_X$用概率密度函数$f_X(x_1,x_2,...,x_n;\theta )$代替。
如果$X_1,X_2,...,X_n$是相互独立的，那么$p_X=p_{X_1}{p}_{X_2}...p_{X_n},$此时可用对数似然函数来简化计算:$ln(p_X)=ln{p}_{X_1}+...+ln{p}_{X_n}$

与贝叶斯最大后验概率准则对比:
最大后验概率准则:求$\theta =\hat{\theta }$使得$p_{\Theta }(\theta )p_{X|\Theta }(x|\theta )$取最大值。
最大似然估计:求$\theta =\hat{\theta }$使得$p_X(X;\theta )$取最大值。
可以看出当$\Theta$是均匀分布时,最大后验准则等价于最大似然估计。均匀分布即$\Theta$取任何值的概率都相等，这就是经典统计推断与贝叶斯统计推断的不同之处。

如果$\theta$的最大似然估计是$\hat{\theta }$，那么$g(\theta )$的最大似然估计是$g(\hat{\theta })$.这里要求$g(x)$是一一映射函数。

---

举例:某人上班迟到时间是一个随机变量X,服从参数为$[0,\theta ]$上的均匀分布,$\theta$未知，是随机变量$\Theta$的一个值，$\Theta$服从$[0,1]$上的均匀分布。假设某次迟到时间为x。用最大似然估计来估计$\theta$。
流程:
$f_X(x;\theta )=\frac{1}{\theta }$
画出$\theta -x$的取值范围图:

$\theta$的取值范围图中阴影部分。对于观测值$x=x_0,\theta$的取值范围为图中红线部分。显然当$\theta =x$时能使$f_X$达到最大。所以$\theta$的最大似然估计$\hat{\Theta }=X$.

---

均值和方差的估计

利用经典统计推断一个概率分布的均值和方差(不一定是“最大似然估计”)。
这里的目标是通过样本推断总体的无偏估计均值和方差。

假设条件:

1. 观测向量$(X_1,X_2,...,X_n)$是独立同分布
2. 均值为未知参数$\theta$.方差为未知参数$v={\sigma }^2$
   对于均值最自然的估计量是样本均值:
   $$\hat{\Theta }=M_n=\frac{X_1+X_2+...+X_n}{n}$$
   样本均值当作均值估计量时有:

• $E(M_n)=\theta$,所以$M_n$是$\theta$的无偏估计量。
• $E(X_i{M}_n)={\theta }^2=E(X_i)E(M_n)$，所以$M_n$和$X_i$不相关。
• $var(M_n)=var(X_1+X_2+...+X_n)/n^2=v/n$.可见方差和均方不依赖
• 均方误差$E[(\hat{\Theta }-\theta {)}^2]=E[(M_n-\theta {)}^2]=E[(M_n-E(M_{}$