【笔记】概统论与数理统计第八章知识点总结

最新推荐文章于 2023-11-02 17:42:59 发布

Dorothy30

最新推荐文章于 2023-11-02 17:42:59 发布

阅读量1.2k

点赞数 1

分类专栏：概统文章标签：概率论统计学

本文链接：https://blog.csdn.net/weixin_44835327/article/details/118334295

版权

概统专栏收录该内容

8 篇文章 4 订阅

订阅专栏

参数估计：利用样本提供的信息, 对分布函数中的未知参数θ有一个基本的估计

8.1 点估计

估计值和估计量：设总体的分布函数是 F(x, θ)，其中θ为未知参数。从总体X中抽取样本 $X_1, X_2,...,X_n$ , 其观测值为 $x_1, x_2,...,x_n$ 构造某个统计量𝜃( $X_1, X_2,...,X_n$ )，并用它的观测值𝜃( $x_1, x_2,...,x_n$ )来估计未知参数 θ，则称 𝜃( $x_1, x_2,...,x_n$ )为 θ 的估计值，称𝜃( $X_1, X_2,...,X_n$ )为 θ 的估计量
θ 的一个点估计：用样本的统计量给出未知参数的一个估计值的方法
- 点估计量：是一个统计量, 是一个不含未知参数的, 作为样本的函数的随机变量
- 点估计值：一个数
- 点估计量和点估计值都可简记为 $\hat{\theta}$
未知参数向量的点估计：如果 θ = ( $\theta_1, \theta_2,...,\theta_k$ ) 是k维未知参数向量，则需要构造k 个统计量 $\theta_i$ = $\theta_i$ ( $X_1, X_2,...,X_n$ ), i = 1, 2, . . . , k作为 $\theta_1, \theta_2,...,\theta_k$ 的点估计量
- 理论上, 任何一个统计量都可以作为未知参数 θ 的一个估计量，但是否合理要以一定的概率统计理论和意义作为基础。下面介绍两个常用的求估计量的方法: 矩估计法和极大似然估计法
矩估计法：设总体 X 有分布函数 F(x, θ), 其中 θ 为一维未知参数，若m= m(θ) = E(X) 存在，由此反解出 θ = g(m)，再用样本均值 X 代替 m，就得到了 θ 的一个估计量 $\hat{\theta}$ = g(X)
- 概率基础：独立同分布的大数定律
- 如果有多个未知参数, 我们没有办法仅仅用总体的一阶矩表示未知参数 ( $\theta_1, \theta_2,...,\theta_k$ ), 通常我们可以用前 k 阶总体矩表示未知参数向量, 然后用对应的样本矩代替总体矩, 即可得未知参数向量的矩估计

极大似然估计法
- 似然函数：如果我们把 $X_1, X_2,...,X_n$ 看成是样本，似然函数L(θ) 是对应于参数 θ 的概率模型中样本取到观测值的概率
  - 选择使得 L(θ) 最大的θ对应的概率模型
- 极大似然估计法：根据样本观测值构造似然函数, 然后最大化似然函数, 进而进行参数点估计的方法
  - 似然函数𝐋(𝛉)：对于给定的观测值 $x_1, x_2,...,x_n$ ，它是未知参数 θ 的函数。
  - 极大估计值与极大估计量：设总体 X 仅含一个未知参数 θ，并且总体的分布律或密度函数已知, $x_1, x_2,...,x_n$ 为一组样本的观测值. 若存在 θ 的一个值 𝜽 = 𝜽( $x_1, x_2,...,x_n$ )，使得L(𝜽) = max{L(θ)}，则称 𝜽是 θ 的极大似然估计值。而统计量 𝜽( $X_1, X_2,...,X_n$ )称为 θ 的极大似然估计量
    - L(θ) 的最大值点对应的 θ 值 $\hat{\theta}$ , 作为未知参数的极大似然估计。其中，最大值点一般是驻点，满足方程
    - 由于 ln L(θ) 和 L(θ) 在同一处取到最大值, 因而极大似然估计值也可由对数似然方程 $\frac{dL(\hat{\theta})}{d\theta(\hat{\theta})}=0$ 解得
  - 总体 X 的分布中含有多个未知参数：θ = ( $\theta_1, \theta_2,...,\theta_k$ ) 时, 似然函数为 L(θ) = L( $\theta_1, \theta_2,...,\theta_k$ )，此时对数似然方程变为对数似然方程组
  - 当似然方程或对数似然方程无解时, 应从定义考虑求极大似然估计, 即选择𝜃, 使得 L( $\hat{\theta}$ ) = max{L(θ)}。多半情况下, 对应于最大值在边界取到的情况

8.2 估计量的评选标准

无偏性标准
- 无偏估计量：若未知参数 θ 的估计量𝜃( $X_1, X_2,...,X_n$ )有E( $\hat{\theta}$ )=θ，则称 $\hat{\theta}$ 是参数 θ 的无偏估计量，反之称为有偏估计量
- 渐近无偏估计量：𝑏 ( $\hat{\theta}$ )=𝐸 ( $\hat{\theta}$ )−𝜃 为 θ 的偏差，若样本容量 n → ∞ 时, 有 b( $\hat{\theta}$ )→ 0, 则称 $\hat{\theta}$ 为 θ 的渐近无偏估计量
有效性标准：取值在 θ 附近越集中越好
- 定义：设 $\theta_1$ = $\theta_1$ ( $X_1, X_2,...,X_n$ )和 $\theta_2$ = $\theta_2$ ( $X_1, X_2,...,X_n$ )是θ的两个无偏估计量。若D ( $\theta_1$ )≤D ( $\theta_2$ )，则称 $\theta_1$ 比 $\theta_2$ 更有效
一致性标准：样本估计量 $\hat{\theta}$ = $\hat{\theta}$ ( $X_1, X_2,...,X_n$ )与样本容量n有关，要求当n越来越大的时候， $\hat{\theta}$ 会逼近 θ
- 定义：设 $\hat{\theta}$ 是θ的估计量，若 $\hat{\theta}$ $\overset{P}{\rightarrow}$ θ(n → ∞)，则称 $\hat{\theta}$ 是θ的一致估计量
- 当总体X的前k阶原点矩 $m_k$ 存在时
  - 样本 k 阶原点矩 $A_k$ 是 $m_k$ 的一致估计量
  - 样本均值是总体均值的一致估计量.
  - 样本 k 阶中心距是总体 k 阶中心距的一致估计量
- 当样本方差 $S^2$ 的方差𝐃( $S^2$ ) → 0时，样本方差 $S^2$ 是总体方差 $\sigma^2$ 的一致估计量
均方误差标准：估计量更紧密地围绕在θ附近（方差小且均值离θ更小）更好
- 定义：对于总体 X 的未知参数 θ, $\hat{\theta}$ 是 θ 的估计量，称 $M(\hat{\theta}) = E(\hat{\theta}-\theta)^2$ ，为 $\hat{\theta}$ 关于 θ 的均方误差
  - 若两个估计量𝜃1和𝜃2有 $M( \hat{\theta_1}) \leq M(\hat{\theta_2})$ ，则称𝜃1在均方误差下比𝜃2 更有效
- 定理： $\hat{\theta}$ - 𝜃 的二阶矩 = 方差 + 一阶矩的平方
  - 对于无偏估计量，E( $\hat{\theta}$ ) = θ ⇒ M( $\hat{\theta}$ ) = D( $\hat{\theta}$ )

8.3 区间估计

区间估计的思想：找出一个由样本决定的区间, 使得未知参数落在这个区间上的概率是可以计算的。这样我们就能在一定可靠度 (参数落在此区间的概率) 下得出估计值的最大可能误差
置信区间
- 定义：设总体的分布函数 F(x, θ) 含有未知参数 θ， $X_1, X_2,...,X_n$ 是来自总体 X 的一个样本, $\theta_1$ = $\theta_1$ ( $X_1, X_2,...,X_n$ ) 和 $\theta_2$ = $\theta_2$ ( $X_1, X_2,...,X_n$ ) 是两个统计量。若对给定的概率1 − α(0 < α < 1), 有
  - $\hat{\theta}_1$ , $\hat{\theta}_2$ ：置信下限和置信上限
  - 1 − α ：置信度
  - 则称随机区间 ( $\hat{\theta}_1$ , $\hat{\theta}_2$ ) 为参数 θ 的置信度为 1 − α 的置信区间
- 区间估计的基本步骤
  - 确定估计参数、α，找到估计量δ， $\bar{x}$ ，n，s等
  - 列出置信区间对应公式，查找分位点
  - 带入估计量计算置信上下限
一个正态总体下参数的置信区间：假设 $X_1, X_2,...,X_n$ 是来自总体 X ∼ N(µ, σ2) 的样本
- 方差已知, 求均值的置信区间
- 方差未知, 求均值的置信区间
- 均值未知, 求方差的置信区间
  - 标准差的置信区间为
- 非正态总体/总体分布未知，但n≥30，使用U置信区间即可，其中可以用S替代δ
- 若 η = g(θ) 是 θ 的单调函数，从置信区间的定义，则由 θ 的置信区间 ( $\hat{\theta}_1$ , $\hat{\theta}_2$ ))，可得 η 的置信区间 ( $\hat{\mu}_1$ , $\hat{\mu}_2$ )。
  - 若 g 单调上升，则 η 的置信区间为 (g( $\hat{\theta}_1$ ), g( $\hat{\theta}_2$ ))
  - 若 g 单调下降，则 η的置信区间为 (g( $\hat{\theta}_2$ ), g( $\hat{\theta}_1$ ))
两个正态总体下参数的置信区间
-  $\sigma_1^2,\sigma_2^2$ 已知，求总体均值差 µ1 − µ2 的置信区间
- $\sigma_1^2$ = $\sigma_2^2$ = $\sigma^2$ 未知，求总体均值差 µ1 − µ2 的置信区间
- 所有参数未知，求总体方差比 $\frac{\sigma_1^2}{\sigma_2^2}$ 的置信区间
单侧置信限
- 设总体 X 的分布函数 F(x, θ) 中含有未知参数 θ, $X_1, X_2,...,X_n$ 是来自总体 X 的一个样本
- 单侧置信下限：存在统计量 $\hat{\theta}_1$ ( $X_1, X_2,...,X_n$ )，使得P(θ > $\hat{\theta}_1$ ) = 1 − α
- 单侧置信上限：存在统计量 $\hat{\theta}_2$ ( $X_1, X_2,...,X_n$ )，使得P(θ < $\hat{\theta}_2$ ) = 1 − α