数理统计学导论(第8版)第七章充分性(Chapter7 Sufficiency) 知识小结、期末复习笔记（待续

搏努力概形

已于 2022-06-14 15:37:35 修改

阅读量1.8k

点赞数 3

分类专栏：高等数理统计学文章标签：概率论算法抽象代数统计学

于 2022-01-18 23:22:29 首次发布

本文链接：https://blog.csdn.net/qq_45259021/article/details/122563435

版权

高等数理统计学专栏收录该内容

1 篇文章 0 订阅

订阅专栏

* 期末结束啦、把这学期的笔记分享一下、待续

* 参照英文版第8版数理统计学导论(Introduction to Mathematical Statistics, Eighth Editon)，Hogg，第7章充分性；用了我自己的翻译

* 整个章节逻辑层次非常清晰, 定理概念之间层层递进、互相联系、补充，案例经典、方法明确且信息量大、仔细磨

7.1 估计量品质测量

① 极小方差无偏估计量(MVUE, Minimum Variance Unbiased Estimator)定义:

有 $iid.$ 的 $X_{i}$ , 若统计量 $Y=u\left ( X_{1},X_{2},...,X_{n} \right )$ 是无偏的，且 $Y$ 的方差 $\leq$ $\theta$ 的任何其他无偏估计量的方差，那么称 $Y$ 为 $\theta$ 的MVUE.

②决策函数(规则)：

若 $Y$ 为 $\theta$ 的点估计， $\delta (y)$ 为 $Y$ 观测值的函数，函数 $\delta$ 决定了 $\theta$ 的点估计之值，从而称 $\delta$ 为决策函数或决策规则(decision function/rule)，观测值 $\delta (y)$ 则为一个决策(decision).

③损失函数:

非负数函数 $\L [\theta , \delta (y)]$ 定义为损失函数(loss function)，用于衡量 $\theta$ 的真实值与其观测值 $\delta (y)$ 的差异程度. 损失函数的数学期望称为风险函数(risk function). 若 $f_{Y}(y;\theta)$ 是 Y 的pdf, $\theta \in \Omega$ , 那么风险函数 $R(\theta ,\delta )$ 由下式给出：

$R(\theta ,\delta )=E\left \{\L [\theta , \delta (y)] \right \}=\int_{\infty }^{-\infty }\L [\theta , \delta (y)]\cdot f_{Y}(y;\theta)dy$

应用：极小化极大值准则(minimax criterion) : 使风险函数R的极大值取到极小值的决策函数L为最佳决策函数. 见书中举例.

拓展：似然原理(likelihood principle)，见书中案例.

7.2 参数的充分统计量

④ 充分统计量(sufficient statistic)定义：

设 $X_{1},X_{2},...,X_{n}$ 是来自分布具有pdf或pmf为 $f(x;\theta )$ 的n个随机样本， $\theta \in \Omega$ ，设 $Y_{1}=u_{1}\left ( X_{1},X_{2},...,X_{n} \right )$ 是一个统计量，它的pdf或pmf是 $f_{Y_{1}}(y_{1};\theta)$ ，于是 $Y_{1}$ 是 $\theta$ 的充分统计量，当且仅当：

$\frac{f(x_{1};\theta )f(x_{2};\theta )\cdots f(x_{n};\theta )}{f_{Y_{1}}(u_{1}(x_{1},x_{2},...,x_{n});\theta)}=H(x_{1},x_{2},...,x_{n})$

其中， $H(x_{1},x_{2},...,x_{n})$ 不依赖于 $\theta \in \Omega$ .

⑤ 求充分统计量的简便方法：奈曼因子分解定理：

在④的条件下， $Y_{1}$ 是 $\theta$ 的充分统计量，当且仅当可以找出两个非负函数 $k_{1},k_{2}$ , 使得：

$f(x_{1};\theta )f(x_{2};\theta )\cdots f(x_{n};\theta )=k_{1}[u_{1}(x_{1},x_{2},...,x_{n});\theta)]\cdot k_{2}(x_{1},x_{2},...,x_{n})$

其中 $k_{2}$ 不依赖于 $\theta$ ； $u_{1}$ 为 $x_{i}$ 构成的函数； $k_{1}$ 由 $u_{1}$ 和 $\theta$ 构成. 见书本举例.

7.3 充分统计量的性质

⑥ 拉奥-布莱克韦尔(Rao-Blackwell)定理：

由充分统计量 $Y_{1}$ 得到 (无偏化校正) 并表示 [即 $E(Y_{2}|y_{1})=\varphi (y_{1})$ ] 的无偏估计量为 $\theta$ 的MVUE.

⑦ $\theta$ 的唯一的极大似然估计量 $\hat{\theta}$ 是充分统计量 $Y_{1}$ 的函数.

⑧ 补充： $\theta$ 的极大似然估计量是渐进无偏的.

求 $\theta$ 的极小方差无偏估计量(MVUE)的方法：

求出 $\prod f(x_{i};\theta )$ , 得到一个充分估计量 $Y_{1}$ ；-----------------根据⑤因子分解定理
求 $\theta$ 的极大似然估计量 $Y_{2}$ ，注意到它是充分估计量 $Y_{1}$ 的函数，且是无偏的；---根据⑦
求2中极大似然估计量 $Y_{2}$ 的数学期望(为 $\theta$ 的函数)，依据数学期望将其校正为 $\theta$ 的无偏估计量 $\varphi (Y_{1})$ ，它就是 $\theta$ 的MVUE. ---------------根据⑥

7.4 完备性与唯一性(Completeness and Uniqueness)

⑨ 完备族(complete family)的定义：

对于连续或离散的随机变量Z，它拥有的pdf或pmf是 $\left \{ h(z;\theta ):\theta \in \Omega \right \}$ 族的成员之一. 若要使条件 $E[u(Z)]=0$ 成立，需要 $u(z)$ 为0，除了在对每个 $h(z;\theta )$ 具有概率0的点集之外. 那么上述的族 $\left \{ h(z;\theta ):\theta \in \Omega \right \}$ 就称为概率密度函数或质量函数的完备族.

⑩ 莱曼和谢弗(Lehmann and Scheffe)定理：

由 pdf或pmf来自完备族 $\left \{ f_{Y_{1}}(y_{1};\theta ):\theta \in \Omega \right \}$ 的充分统计量 $Y_{1}$ 得到并表示的无偏估计量为 $\theta$ 的唯一的MVUE.

见书中的相关案例.

7.5 指数分布类(the Exponential Class of Distributions)

11 $f(x;\theta )=\left\{\begin{matrix} exp[p(\theta )K(x)+H(x)+q(\theta )] , x\in S\\ 0, elsewhere\end{matrix}\right.$

12 将形式为11的pdf称为概率密度函数或质量函数的正则指数类(regular exponential class)的一个成员，如果：

Ⅰ X的支集不依赖于 $\theta$ .

Ⅱ $p(\theta )$ 是 $\theta \in \Omega$ 的非平凡连续函数(nontrivial continuous function).

Ⅲ 若X连续，则K'(x) $\not\equiv$ 0且H(x)是 $x \in S$ 的连续函数；若X离散，则K(x)是 $x \in S$ 的非平凡函数.

13 记结论 (X来自正则指数族)：

Ⅰ $Y_{1}=\sum_{i=1}^{n}K(X_{i})$ 为参数 $\theta$ 的充分统计量，其概率密度函数是完备的(定理7.5.2)

Ⅱ $Y_{1}$ 有如下形式的pdf或pmf：( $y_{1}\in S_{Y_{1}}$ ，且 $neither S_{Y_{1}} norR(y_{1})$ 依赖与于 $\theta$ .)

$f_{Y_{1}}(y_{1};\theta )=R((y_{1})exp[p(\theta )y_{1}+nq(\theta )]$

Ⅲ $Var(Y_{1})=n\frac{1}{p'(\theta )^{3}}\left \{ p''(\theta )q'(\theta )-q''(\theta )p'(\theta ) \right \}$

应用见书中例7.5.2，信息量大、重要！

待续

$*****************$ 分享 $*$ 交流回复 $*$ 指正 $***************$

搏努力概形

关注

3
点赞
踩
13

收藏

觉得还不错? 一键收藏
1
评论
数理统计学导论(第8版)第七章充分性(Chapter7 Sufficiency) 知识小结、期末复习笔记（待续

7.1 估计量品质测量① 极小方差无偏估计量(MVUE, Minimum Variance Unbiased Estimator)定义: 有的 , 若统计量是无偏的，且的方差的任何其他无偏估计量的方差，那么称为的MVUE.②决策函数(规则)：若为的点估计，为观测值的函数，函数决定了的点估计之值，从而称为决策函数或决策规则(decision function/rule)，观测值则为一个决策(decis......
复制链接

扫一扫