6.1 Introduction
频率学派统计学(frequentist statistics),经典统计学(classical statistics),或者叫正统的统计学(orthodox statistics),设计了一些不把参数当做随机变量的统计推断方法,从而避免了使用贝叶斯法则和先验。
频率学派依赖于抽样分布(sampling distribution),而贝叶斯学派则依赖后验分布(posterior distribution)。
6.2 Sampling distribution of an estimator 估计量的抽样分布
和贝叶斯学派相反,频率学派估计参数时,认为参数是固定的(而不是不确定量,不当做是随机变量,因此也没有先验之说),反而数据是不固定的,可以不断地抽样。比如从总体中抽 S 次,得到样本集
针对每个样本 D(s) ,可以用 estimator θ^(⋅) 算出一个统计量,如均值,方差等。当 S→∞ 时, { θ^(D(s))} 构成新的分布,就叫做是 estimator θ^(⋅) 的抽样分布(sampling distribution).
6.2.1 Bootstrap
一般用蒙特卡洛方法来估计抽样分布(sampling distribution),这种方法就叫做 Bootstrap 方法,而这种方法又分有参数和无参数两种。
继续用上一小节的符号,直接计算 estimator 的结果,每个样本都会得到一个随机变量的取值, θ^s=f(xs1:N) ,那么可以把经验分布当做是抽样分布。这种方法叫做 无参数 bootstrap,假如 estimator 中的参数 θ 是未知的,那么可以用最大似然估计出来的结果 θ^ 来计算,这种叫做 参数 bootstrap 方法。
6.2.2 Large sample theory for the MLE *
当样本数量趋向无穷大时,那么似然函数的分布趋向于高斯分布,那么高斯分布的中心就是 MLE 的估计结果 θ^ ,方差则是 MLE 整个曲面的弯曲情况。可以形式化地定义 score function 为似然函数对参数 θ 的偏导,
Fisher information matrix 定义为 observed information matrix 的期望,
6.3 Frequentist decision theory 频率学派决策理论
上一章已经有了 estimator or decision procedure
6.3.1 Bayes risk 贝叶斯风险
第一种方法是加上一个合适的先验,发现会把未知量 θ∗ 约去。定义贝叶斯风险(Baues risk)为