数理统计期末复习笔记（二）

数理统计期末复习笔记

主要内容：
贝叶斯估计，统计决策，偏差分析，线性回归

贝叶斯方法

基本概念

• 贝叶斯派的观点认为，概率就是信念

• 贝叶斯推断：$\theta$：作为随机变量，$X_1,...,X_n\sim p(x|\theta )$，后验$\sim$先验*似然，即$p(\theta |x_1,...,x_n)\sim p(\theta )\times p(x_1,...,x_n|\theta )$

  对$\theta$的贝叶斯估计：$\hat{\theta }=E(\theta |x)$

• 先验的构造：

  • 平坦先验：均匀分布，密度函数为常数；但是对于数据变换并不是不变的
  • Jeffery先验：先验对于fisher信息变换必须不变，即${\pi }_J(\theta )=(det(I_n(\theta )){)}^{1/2}$，这里I_n是用样本的似然$p(x|\theta )$求的；但是只有一维的时候比较高效
  • Reference先验：希望从先验中汲取到的信息最少：$p(\theta )={\mathrm{argmax}}_{\theta }{d}_{KL}(p(\theta ),p(\theta |x))$, $d_{\mathrm{KL}}(P\Vert Q)={\int }_{-\infty }^{\infty }p(x)\ln \frac{p(x)}{q(x)}\mathrm{d}x$；在一维下，Jeffery先验和reference先验相等
  • conjugate先验：选择先验使得和后验的分布一样；即寻找共轭组$F$使得先验和后验均在其中

• 贝叶斯置信区间：

  $P(\theta \in [L(U),C(U)]|X)=1-\alpha$

• 贝叶斯检验：

  贝叶斯检验同样建立在后验上。在检验中，比较$P(\theta \in {\Theta }_0|x)$和$P(\theta \in {\Theta }_1|x)$，哪个大就推断$\theta$满足哪个。（设定域的自由度降低了不少）

统计决策

基本概念

• 决策规则：$X$为分布$P$中随机产生的若干样本 根据$X$来决定若干行动，称为决策：$D:(X,F_X)\to (A,F_A)$, $F$：$\sigma$-域

  决策的估值：loss function$L(\theta ,a)$：在情况$\theta$下选择行动a的代价

  eg：平方损失函数，p-范数，0-1损失函数等

• 有些决策具有随机性，需要引入风险函数：$R(\theta ,a)=E_{\theta }L(\theta ,a)$（这里是指对$p(X|\theta )$求期望，因为$a$是根据$X$决定的）

  对于决策规则$A,B$，如果对任意$\theta$，A的选择的风险都不比B大，则称A至少和B一样好（互相=>等价）

  对于一族决策规则$\mathcal{T}$，决策规则$T^{\ast }$称为$\mathcal{T}$-最优的，如果它和任何其他决策都至少一样好

  对于一组决策规则$\mathcal{T}$，决策规则$T$称为$\mathcal{T}$-可采纳的（admissible），如果没有决策和它至少一样好

• Rao-blackwell定理：对于一个非随机策略$T_0$和凸的损失函数，考虑$H$为一个充分统计量，那么$T_1=E(T_0(x)|H)$一定至少和它一样好；因此只需要考虑仅和充分统计量有关的规则即可

对决策规则的进一步提升

• 最大最小风险

  最大最小估计：$R_n\triangleq {\inf }_{\hat{\theta }\in T}{\sup }_{\theta }R(\theta ,\hat{\theta })$

  即：在一族规则中，选择最大风险最小的那个

• 贝叶斯风险

  考虑先验$\pi$下贝叶斯风险为：$B_{\pi }(\hat{\theta })=\int R(\theta ,\hat{\theta })\pi (\theta )d\theta$，故贝叶斯估计：${\inf }_{\hat{\theta }\in T}{B}_{\pi }(\hat{\theta })$

  贝叶斯检验的性质：$\pi$为先验=>后验分布：$\pi (\theta |x)\sim p(x|\theta )\pi (\theta )$

  后验风险：考虑$r(\hat{\theta }|x)=\int L(\theta ,\hat{\theta })\pi (\theta |x)d\theta$

  定理：$\hat{\theta }(x)={\mathrm{argmin}}_{\theta }r(\hat{\theta }|x)$

  示例：$L=(\theta -\hat{\theta }{)}^2$：$\hat{\theta }$=$\pi (\theta |x)$的期望；$L=|\theta -\hat{\theta }|$：中位数；$L=0-1$：单峰

• 关联：拥有常数的风险函数的贝叶斯估计必然是最大最小估计

  应用：证明某个策略是最大最小估计：构造恰当的先验给出一个常数风险的贝叶斯估计

  注：最大似然估计MLE 渐近地是最大最小估计

偏差分析Analysis of Variance

• 对三组及以上的人群做偏差分析，对其差别做推断

单路ANOV（数据按照某个值分类）

• 模型：$Y_{ij}={\theta }_i+{ϵ}_{ij},i=1\sim I,j=1\sim n_i$，其中$E({ϵ}_{ij})=0,Var({ϵ}_{ij})={\sigma }_i^2$

  替代模型：$Y_{ij}=\mu +{\gamma }_i+{ϵ}_{ij}$，但是不是可确定（identifiable）模型，因为参数值和分布并不一一对应

  其它假设：

  • 方差齐性（homoscedasticity），即${\sigma }_i^2={\sigma }^2$，否则不好估计（如果无法满足，考虑使用box-cox变换：取$(y^{\lambda }-1)/\lambda$）
  • 正态性：${ϵ}_{ij}\sim N(0,{\sigma }^2)$

• ANOVA检验：

  希望检验：$H_0:{\theta }_1=....={\theta }_I$

  $S{S}_{TOT}={\sum }_i{\sum }_j(Y_{ij}-\overline{Y}{)}^2={\sum }_i{\sum }_j(Y_{ij}-{\overline{Y}}_{i\cdot }{)}^2+{\sum }_i{n}_i({\overline{Y}}_{i\cdot }-{\overline{Y}}_{\cdot \cdot }{)}^2=S{S}_W+S{S}_B$(w: within group, b: between group)

  推论：在方差齐性假设下：$E(S{S}_W)={\sum }_i(n_i-1){\sigma }^2,E(S{S}_B)={\sum }_i{n}_i({\theta }_i-\overline{\theta }{)}^2+(I-1){\sigma }^2$

  一个很常用的引理：$E(X_i)={\mu }_i,Var(X_i)={\sigma }^2$，则$E(X_i-\overline{X}{)}^2=({\mu }_i-\overline{\mu }<$