统计学习（二）：统计推断

概念

所谓统计推断( statistical inference )，指的是给定样本 $x_1, x_2,\dots, x_n$ 下，如何推断总体 $F$ ? 或者 $F$ 的数字特征，如均值、方差等。

统计模型

参数模型

参数模型，指的是一个分布集合 $\mathfrak{F}$, 其中的参数可以由有限个参数给定。

例2.1 一维正态分布集

$$\mathfrak{F}=\{f(x; \mu, \sigma^2): f(x; \mu, \sigma^2)= \dfrac{1}{\sqrt{2\pi} \sigma} exp\{-\dfrac{1}{2\sigma^2}(x-\mu)^2\}, \mu\in \mathbb{R},\, \sigma^2\in \mathbb{R}^+\}$$
参数模型集通常可以表示为 $\mathfrak{F}=\{f(x; \theta);\, \theta\in\circledS\}$

非参数模型

非参数模型，分布集 $\mathfrak{F}$ 不能被参数化。

例2.2 $\mathfrak{F}_{All}=\{all \, \, CDFs\}$, $CDF$ 指的是累积分布函数( cumulative distribution function ).

例2.3 一维参数估计

设样本 $x_1, x_2,\dots, x_n$ 来自 Bernoulli(p), 估计 $p$.

例2.4 二维参数估计

设样本 $x_1, x_2,\dots, x_n$ 来自一维正态分布族 $\mathfrak{F}$, 估计 $\mu, \sigma^2$.

例2.5 非参数密度估计

设样本 $x_1, x_2,\dots, x_n$ 来自某连续分布 $F$, 密度为 $f$, 估计 $f$.
这里，不能仅假定 $F\in\mathfrak{F}_{All}$, 为了估计 $f$, 需要进一步假定
$f\in\mathfrak{F}_{DENS}\bigcap\mathfrak{F}_{SOB}$.
其中，$\mathfrak{F}_{DENS}$ 是所有概率密度函数集。
FSOB={ f:∫(f′′(x))2d