参数估计_点估计01

最新推荐文章于 2023-05-10 10:52:41 发布

明朝百晓生

最新推荐文章于 2023-05-10 10:52:41 发布

阅读量1k

点赞数

分类专栏：人工智能

4AM_明朝百晓生

本文链接：https://blog.csdn.net/chengxf2/article/details/115330044

版权

人工智能专栏收录该内容

102 篇文章 3 订阅

订阅专栏

前言：

定理：

大数定理，依概率收敛

参数估计概念
点估计
矩估计理论基础
矩估计步骤
例子

一参数估计概念

参数：反映总体某方面的特征向量，例合格率，方差，均值，中位数

参数估计两种方法：点估计和区间估计。

区别：

点估计只提供单一的估计值，而区间估计在点估计的基础上还提供了一个误差界限，给出了取值范围——

这个取值范围又叫置信区间（confidence interval），受置信度（一个概率值，即进行估计前必须事先确定的估计的把握度）影响，

根据中心极限定理推导得来。

二点估计

设总体X未知参数为 $\theta$ , $X_1,X_2,...,X_n$ 为X的简单随机样本，构造合适的统计量

$\hat{\theta}=\hat{\theta}(X_1,X_2,...X_n)$ 用来估计未知参数 $\theta$ , $\hat{\theta}$ 称为参数的点估计量

给定观察值 $x_1,x_2,...,x_n$ , $\hat{\theta}(x_1,x_2,...,x_n)$ 称为 $\theta$ 的点观察量

三矩估计法理论基础

理论依据：辛钦大数定律依概率收敛

$P\begin{Bmatrix} |\bar{X}-u|>\epsilon \end{Bmatrix}<=1-\frac{\sigma^2}{n\epsilon }$ (辛钦大数定律）

$A_k=\frac{1}{n}\sum X_i^k$ （原点矩）

$B_k=\frac{1}{n}\sum(X_i-\bar{X})^k$ (中心矩）

四矩估计步骤

设有k个未知参数 $\theta_1,\theta_2....,\theta_k$ , $X_1,X_2,....X_n$ 是来自总体X的样本,假设总体的前K阶矩存在

2.1 写出总体矩，关于参数的函数

$u_i=E(X_i)=h_i(\theta_1,\theta_2,...\theta_k)$

则有k个方程

2.2 写出参数，关于总体矩的反函数

$\theta_i=g_i(u_1,u_2,....,u_k)$

2.3 使用样本矩，替代总体矩（原点矩，或者中心矩）

$\hat{\theta_i}=g_i(A_1,A_2,...A_k)$

五例子

5.1 设 $X \sim B(1,p)$ ,p未知， $x_1,x_2,...x_n$ 是x的样本,求P得矩估计量

解：

step1: 总体矩 $u_1=E(X)=p$

step2: 反函数： $p=u_1$

step3: 样本矩 $\hat{p}=u_1=\bar{X}$

4.2 一个罐子里面放满了糖，求糖的数目

解：

从罐子里面取出k个糖，做完标记，放回。

再随机抽样m个，找到其中标记过的糖k_1

step1 标记的糖总体矩为

$u_1=\frac{k}{n}$

step2 反函数

$n= \frac{k}{u_1}$

step3: 样本矩替代总体矩：

$A_1=\frac{k_1}{m}$

则 $n= \frac{k*m}{k_1}$

计算机模拟结果：

左图 n = 10000 （实际总体样本数目）； m = 2000（抽样数目）； X(K 做标记的数目,事件概率）；Y(矩估计值）

右图 n=10000(实际总体样本数目）；m=4000(抽样数目)

通过图上看到，矩估计的误差比较大，同时做标记的数量越小，误差越大.

：

# -*- coding: utf-8 -*-
"""
Created on Thu Apr  1 16:02:02 2021

@author: chengxf2
"""

import numpy as np
import random
import copy
import matplotlib.pyplot as plt
'''
放回取样,从总体中随机选取m 个样本

'''

def mChoice(apple, m):
    
  
    random.shuffle (apple )
    mList = apple[0:m]
   # print("\n mList:  ",mList)
    return mList
    
'''
从总体n中随机选取k个样本,做个标记
'''
def TotalChoice(apple, k):
    
    

    random.shuffle (apple )
    kList = apple[0:k]

    #print("\n kList:  ",kList)
    return kList

'''
评估重合的部分

'''
def estimation(a, b):

         tmp = [val for val in a if val in b]        
         k1 = len(tmp)       

         return k1
    
    

def Calc(k1,k,m):
    
    if k1==0:
        return 0
    
    n = int((k*m)/k1)
    #print("\n 评估的n ",n,k,k1,m)
    return n
    


def MarixEst():
    
    n = 10000  
    m = 4000
    print("\n ================Test===================")
    apple = np.arange(0,n)
    
    X = np.arange(100,3000,100)
    Y =[]
    
    for k in X:
         # 先分配一个变量
        # print("\n k:: ",k)
         appleTotal = copy.deepcopy(apple)
         
         #总体中采样k个
         kList = TotalChoice(apple,k)
         #放回采样
         mList = mChoice(appleTotal,m)
         #检查重合部分
         k1= estimation(kList, mList)
         
         n= Calc(k1,k,m)
         Y.append(n)
    plt.scatter(X,Y,c='r')
    plt.plot([50,2000],[10000,10000])
    plt.legend()
    


MarixEst()

5.3 设总体x的密度函数为 $f(x;\theta)=\left\{\begin{matrix} \sqrt{\theta}x^{\sqrt{\theta}-1},x\in[0,1]\\ 0 \end{matrix}\right.$ ,求 $\theta$ 的矩估计