TASK04|数理统计

# 引入相关工具库
import numpy as np 
import pandas as pd 
import matplotlib.pyplot as plt
%matplotlib inline
plt.style.use("ggplot")
import warnings 
warnings.filterwarnings("ignore")
plt.rcParams['font.sans-serif']=['SimHei','Songti SC','STFangsong']
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
import seaborn as sns 

np.random.choice方法含义是从列表a中随机选取值

1.总体和样本

总体

总体就是一个概率分布，总体的数量指标就是服从该概率分布的一个随机变量
总体分为：有限总体和无限总体, 大多数我们说的总体是无限总体

样本的二重性

1. 样本是一个随机变量， 用大写字母 $X_1,X_2,\cdots ,X_n$ 表示；
2. 样本在抽取以后经观测就有确定的观测值， 因此， 样本又是一组数值， 此时用小写字母 $x_1,x_2,\cdots ,x_n$ 表示是合适的。 为了描述的简单，我们只用小写字母表示样本$x_1,x_2,\cdots ,x_n$，不管样本是随机变量还是具体的数值，都用小写字母表示。

简单随机抽样需要满足的两个要求

• 从总体中抽取的样本具有代表性：具有代表性要求总体中每一个个体都有同等机会被选入样本中，也就意味着样本中的每一个样品$x_i$与总体X有相同的分布，简称“同分布”。
• 从总体中抽取的样本具有独立性：具有独立性即要求样本中每一样品的取值不影响其他样品的取值， 也就意味着 $x_1,x_2,\cdots ,x_n$ 之间相互独立。
  设总体 $X$ 具有分布函数 $F(x),x_1,x_2,\cdots ,x_n$ 为取自该总体的容量为 $n$ 的样本，则样本联合分布函数为
  $$F\left(x_1,x_2,\cdots ,x_n\right)=\prod _{i=1}^{n}F\left(x_i\right).$$

不满足独立同分布的假设的，比如：时间序列数据，前后之间存在关联，因此不是相互独立的。

2.经验分布函数与直方图

经验分布函数

（1）经验分布函数：

统计学的一个重要核心就是使用样本信息估计总体信息，有的时候总体往往是未知的，我们只能通过多次试验的样本（即实际值）来推断总体。经验分布函数就是使用样本信息构造的分布函数近似未知的总体分布函数：

设 $x_1,x_2,\cdots ,x_n$ 是取自总体分布函数为 $F(x)$ 的样本， 若将样本观测值由小到大进行排列， 记为 $x_{(1)},x_{(2)},\cdots ,x_{(n)}$, 则 $x_{(1)},x_{(2)},\cdots ,x_{(n)}$ 称为有序样本， 用有序样本定义如下函数
$$F_n(x)=\{\begin{array}{ll}0,& \text{ 当 }x<x_{(1)},\\ k/n,& \text{ 当 }{x}_{(k)}⩽x<x_{(k+1)},k=1,2,\cdots ,n-1,\\ 1,& \text{ 当 }x⩾x_{(n)},\end{array}$$
则 $F_n(x)$ 是一非减右连续函数， 且满足
$$F_n(-\infty )=0\text{ 和 }{F}_n(\infty )=1.$$
由此可见， $F_n(x)$ 是一个分布函数， 称 $F_n(x)$ 为该样本的经验分布函数。

频数直方图的画法 plt.hist

连续变量（定量变量）的概率分布的估计

x_samples = np.random.randn(1000)
plt.hist(x_samples, bins=10,color='blue',alpha=0.6)  # bins=10代表10根柱子
plt.xlabel("x")
plt.ylabel("频数 n")
plt.title("频数直方图")
plt.show()

直方图缺点:无法数值化进行研究
进行数值化最有效的方式就是构造关于样本的函数
density=True 的意思是保证该面积的积分为1，并不是概率和为1

3.统计量与三大抽样分布

统计量

设 $x_1,x_2,\cdots ,x_n$ 为取自某总体的样本， 若样本函数 $T=T\left(x_1,x_2,\cdots ,x_n\right)$ 中不含有任何末知参数， 则称 $T$ 为统计量。统计量的分布称为抽样分布

1.统计量不含未知参数
2.样本平均数$\bar{x}=\frac{x_1+x_2+\cdots +x_n}{n}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$和样本方差$s_n^2=\frac{1}{n}{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^2$都是统计量
3.统计量由样本决定，从而统计量因样本而异，对于同一总体，由于抽取样本是具有随机性的，因此抽取不同的样本，统计量就不同，从而统计量也是一个随机变量。统计量的分布称为抽样分布。虽然统计量不依赖于任何参数，但统计量的分布一般依赖于未知参数。

常用的统计量及其对应的抽样分布

（1.1）样本均值：

设 $x_1,x_2,\cdots ,x_n$ 为取自某总体的样本， 其算术平均值称为样本均值，一 般用 $\bar{x}$ 表示，即
$$\bar{x}=\frac{x_1+x_2+\cdots +x_n}{n}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
如果把样本中的数据与样本均值的差称为偏差 即 ${\sum }_{i=1}^n\left(x_i-\bar{x}\right)$。

偏差和

X = np.array([1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20])   # 假设总体为X
x_i = np.random.choice(X, 10, replace=False)  # 从总体X中抽取10个样本
x_mean = np.mean(x_i) # 计算样本均值
x_bias = np.sum(x_i-x_mean)  # 计算偏差和
print("样本均值为：",x_mean)
print("偏差和为：",x_bias)

统计量——样本均值的分布，即样本均值的抽样分布当n越来越大时近似服从正态分布，具体来说：

设 $x_1,x_2,\cdots ,x_n$ 是来自某个总体的样本， $\bar{x}$ 为样本均值。

（1）若总体分布为 $N\left(\mu ,{\sigma }^2\right)$， 则 $\bar{x}$ 的精确分布为 $N\left(\mu ,{\sigma }^2/n\right)$;

（2） 若总体分布末知或不是正态分布， $E(x)=\mu ,\mathrm{Var}(x)={\sigma }^2$ 存在， 则 $n$ 较大时 $\bar{x}$ 的渐近分布为 $N\left(\mu ,{\sigma }^2/n\right)$。 这里渐近分布是指 $n$ 较大时的近似分布。

（1.2）样本方差与样本标准差：

样本方差

设 $x_1,x_2,\cdots ,x_n$ 为取自某总体的样本，则它关于样本均值 $\bar{x}$ 的平均偏差平方和
$$s_n^2=\frac{1}{n}\sum _{i=1}^n{\left(x_i-\bar{x}\right)}^2$$

样本标准差

样本方差的算术平方根，即：$s_n=\sqrt{s_n^2}$。
样本标准差可以与均值发生计算关系，表示数据的范围，如：$(\bar{x}-3s_n,\bar{x}+3s_n)$表示数据的范围在样本均值的三个标准差范围

无偏方差

$s^2=\frac{1}{n-1}{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^2$。$s^2$

当样本量较大时，$s_n^2$与$s^2$相差不大，可以随意使用，当样本量较小时，计算样本方差最好使用无偏样本方差$s^2$

注意：后面我们所说的样本方差都是指无偏样本方差
​

（1）从总体中抽取样本
X = np.array([1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20])   # 假设总体为X
x_i = np.random.choice(X, 10, replace=False)  # 从总体X中抽取10个样本
x_sn2 = np.var(x_i,ddof=0) #样本方差
x_s2 = np.var(x_i,ddof=1) # 无偏样本方差
x_sn = np.std(x_i,ddof=0) # 样本标准差
x_s = np.std(x_i,ddof=1) # 无偏样本标准差
print("样本方差sn^2为：",x_sn2)
print("样本方差s^2为：",x_s2)
print("样本标准差sn^2为：",x_sn)
print("样本标准差s^2为：",x_s)

（2）从总体分布中抽取样本，假设总体分布为N（0，1）
x_i = np.random.randn(10)  # 从总体分布N(0,1)中抽取10个样本
x_sn2 = np.var(x_i,ddof=0) #样本方差
x_s2 = np.var(x_i,ddof=1) # 无偏样本方差
x_sn = np.std(x_i,ddof=0) # 样本标准差
x_s = np.std(x_i,ddof=1) # 无偏样本标准差
print("样本方差sn^2为：",x_sn2)
print("样本方差s^2为：",x_s2)
print("样本标准差sn^2为：",x_sn)
print("样本标准差s^2为：",x_s)

样本方差/样本标准差的分布并没有像样本均值那样有完美的渐近分布
不同总体下的样本方差/样本标准差的分布都不一样

设总体为 $X$ 方差存在， 即 $E(X)=\mu ,\mathrm{Var}(X)={\sigma }^2<\infty ,x_1,x_2,\cdots ,x_n$ 为 从该总体得到的样本， $\bar{x}$ 和 $s^2$ 分别是样本均值和样本方差, 则
$$\begin{array}{c}E(\bar{x})=\mu ,\mathrm{Var}(\bar{x})={\sigma }^2/n,\\ E\left(s^2\right)={\sigma }^2.\end{array}$$
样本均值的期望与总体均值相同， 而样本均值的方差是总体方差的 $1/n$。

（1.3）次序统计量及其分布

（1.3）次序统计量及其分布（了解）

设 $x_1,x_2,\cdots ,x_n$ 是取自总体 $X$ 的样本， $x_{(i)}$ 称为该样本的第 $i$ 个次序统计量， 它的取值是将样本观测值由小到大排列后得到的第 $i$ 个观测值。 其中 $x_{(1)}=$ min ⁡ { x 1 , x 2 , ⋯   , x n } \min \left\{x_{1}, x_{2}, \cdots, x_{n}\right\} min{x1​,x2​,⋯,xn​} 称为该样本的最小次序统计量， x ( n ) = max ⁡ { x 1 , x 2 , ⋯   , x n } x_{(n)}=\max \left\{x_{1}, x_{2}, \cdots, x_{n}\right\} x(n)​=max{x1​,x2​,⋯,xn​} 称为该样本的最大次序统计量。

from scipy.stats import rv_discrete  # 自定义离散分布
```'
### （1.4）样本分位数与样本中位数及其抽样分布
中位数是指累计概率$p=0.5$时对应的随机变量值$x$
而样本抽样后的一组离散个数的取值，因此，我们定义样本中位数只需要查找抽样后的样本中排在中间的那个样品




```python
# 从总体/总体的分布中抽取样本并计算样本样本中位数
## （1）从总体中抽取样本
X = np.array([1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20])   # 假设总体为X
x_i = np.random.choice(X, 10, replace=False)  # 从总体X中抽取10个样本
x_mid = np.median(x_i) # 计算样本中位数
print("样本中位数为：",x_mid)
## （2）从总体分布中抽取样本，假设总体分布为N（0，1）
x_i = np.random.randn(10)  # 从总体分布N(0,1)中抽取10个样本
x_mid = np.median(x_i) # 计算样本中位数
print("样本中位数为：",x_mid)

样本 p 分位数

样本 $p$ 分位数 $m_p$ 可如下定义:
$$m_p=\{\begin{array}{ll}{x}_{([np+1])},& \text{ 若 }np\text{ 不是整数, }\\ \frac{1}{2}\left(x_{(np)}+x_{(np+1)}\right),& \text{ 若 }np\text{ 是整数. }\end{array}$$

先将抽样的$n$个样本按从小到大排序，样本$p$分位数就是排在第$n\times p$位的样品值

# 从总体/总体的分布中抽取样本并计算样本样本中位数
## （1）从总体中抽取样本
X = np.array([1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20])   # 假设总体为X
x_i = np.random.choice(X, 10, replace=False)  # 从总体X中抽取10个样本
np.percentile找到一组数的分位数值
x_low = np.percentile(x_i,25) # 计算样本下四分位数
x_high = np.percentile(x_i,75) # 计算样本上四分位数
print("样本下四分位数为：",x_low)
print("样本上四分位数为：",x_high)

x_mid = np.median(x_i)
计算沿指定轴的中位数

• （a）假设总体为$X$，为了方便起见，$X$取1～20；
• （b）对$X$抽取10个样本，计算10个样本的样本中位数；
• （c）重复（b）步骤10次，20次，100次，1000次，10000次，100000次，观察样本中位数的分布；

def GetMidDist(n, X):
    x_mid_list = []
    for i in range(n):
        x_i = np.random.choice(X, 10, replace=False)
        x_mid = np.median(x_i)
        x_mid_list.append(x_mid)
    plt.hist(x_mid_list,color='blue',alpha=0.6,density=True)
    plt.xlabel("x")
    plt.ylabel("频率 p")
    plt.title("n="+str(n))
    plt.show()

X = np.array([1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20])   # 假设总体为X, size=20
GetMidDist(5, X)
GetMidDist(10, X)
GetMidDist(20, X)
GetMidDist(100, X)
GetMidDist(1000, X)
GetMidDist(10000, X)
GetMidDist(100000, X)

样本分位数的抽样分布的渐近分布为正态分布
设总体密度函数为 $p(x),x_p$ 为其 $p$ 分位数， $p(x)$ 在 $x_p$ 处连续且 $p\left(x_p\right)>$ 0 ， 则当 $n\to \infty$ 时样本 $p$ 分位数 $m_p$ 的渐近分布为
$$N\left(x_p,\frac{p(1-p)}{n\cdot p^2\left(x_p\right)}\right)$$
特别地, 对于样本中位数来说, 当 $n\to \infty$ 时有
$$N\left(x_{0.5},\frac{1}{4n\cdot p^2\left(x_{0.5}\right)}\right)$$

卡方统计量与卡方分布

假设$x_1,x_2,...x_n$是标准正态分布$N(0,1)$为总体抽样的得到的样本（$x_1,x_2,...x_n$独立同分布于$N(0,1)$），则
$${\chi }^2=x_1^2+x_2^2+\cdots +x_n^2$$
的分布为自由度为n的${\chi }^2$分布，简称${\chi }^2\sim {\chi }^2(n)$，${\chi }^2$分布的密度函数为：
$$p(y)=\frac{(1/2{)}^{\frac{n}{2}}}{\Gamma (n/2)}{y}^{\frac{n}{2}-1}{\mathrm{e}}^{-\frac{y}{2}},y>0$$
记住卡方分布：$n$个标准正态分布的平方和服从自由度为$n$的卡方分布。
自由度：可以自由变化的变量个数
画出不同自由度$n$下的密度函数图：

# 使用scipy计算pdf画图(非自定义函数)
from scipy.stats import chi2
# chi2卡方统计量
x = np.linspace(0.01,30,10000)  
plt.plot(x, chi2.pdf(x,df=4),'r-', lw=5, alpha=0.6, label='chi2(4)',c='red')
plt.plot(x, chi2.pdf(x,df=6),'r-', lw=5, alpha=0.6, label='chi2(6)',c='blue')
plt.plot(x, chi2.pdf(x,df=10),'r-', lw=5, alpha=0.6, label='chi2(10)',c='orange')
plt.xlabel("X")
plt.ylabel("p (x)")
plt.legend()
plt.show()

# 使用卡方分布的定义演示卡方分布
from scipy.stats import norm
n = 10
chi2_list = []
for i in range(100000):
    x_i = norm.rvs(loc=0,scale=1,size=10)
    chi2_T = np.sum(np.square(x_i))
    chi2_list.append(chi2_T)
sns.distplot(chi2_list,color='blue')
plt.xlabel("x")
plt.ylabel("频率 p")
plt.title("n="+str(n))
plt.show()
#该密度函数的图像是取非负值的偏态分布， 其数学期望等于自由度n， 方差等于 2 倍自由度即2n，

自由度越大越缓

Connection

在正态分布总体假设下，样本方差经过变换可以与卡方分布产生关系，具体来说就是：

设 $x_1,x_2,\cdots ,x_n$ 是来自正态总体 $N\left(\mu ,{\sigma }^2\right)$ 的样本， 其样本均值和样本方差分别为
$$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i\text{ 和 }{s}^2=\frac{1}{n-1}\sum _{i=1}^n{\left(x_i-\bar{x}\right)}^2,$$
那么，$\frac{(n-1)s^2}{{\sigma }^2}\sim {\chi }^2(n-1)$。

（2.2）F统计量与F分布：

设随机变量 $X_1\sim {\chi }^2(m),X_2\sim {\chi }^2(n),X_1$ 与 $X_2$ 独立， 则称 $F=\frac{X_1/m}{X_2/n}$ 的分布是自由度为 $m$ 与 $n$ 的 $F$ 分布， 记为 $F\sim F(m,n)$， 其中 $m$ 称为分子自由度， $n$ 称为分母自由度。F分布的密度函数为：
$$\begin{array}{rl}{p}_F(y)& =\frac{\Gamma \left(\frac{m+n}{2}\right){\left(\frac{m}{n}\right)}^{\frac{m}{2}}{y}^{\frac{m}{2}-1}{\left(1+\frac{m}{n}y\right)}^{-\frac{m+n}{2}}}{\Gamma \left(\frac{m}{2}\right)\Gamma \left(\frac{n}{2}\right)}\cdot \end{array}$$

# 使用scipy与matplotlib绘制不同的m，n下的F分布的密度函数
from scipy.stats import f
x = np.linspace(0.01,5,10000)  
plt.plot(x, f.pdf(x,4,4000),'r-', lw=5, alpha=0.6, label='F(4,4000)',c='red')
plt.plot(x, f.pdf(x,4,10),'r-', lw=5, alpha=0.6, label='F(4,10)',c='blue')
plt.plot(x, f.pdf(x,4,4),'r-', lw=5, alpha=0.6, label='F(4,4)',c='orange')
plt.plot(x, f.pdf(x,4,1),'r-', lw=5, alpha=0.6, label='F(4,1)',c='yellow')
plt.xlabel("X")
plt.ylabel("p (x)")
plt.legend()
plt.show()
# 使用F统计量的定义演示：
from scipy.stats import norm
m,n = 4,4000
F_list = []
for i in range(100000):
    chi2_m_sample = np.sum(np.square(norm.rvs(loc=0,scale=1,size=m))) # 卡方m统计量
    chi2_n_sample = np.sum(np.square(norm.rvs(loc=0,scale=1,size=n))) # 卡方n统计量
    F_T = (chi2_m_sample/m) / (chi2_n_sample/n)  # # F（m，n）统计量
    F_list.append(F_T)
sns.distplot(F_list,color='blue')
plt.xlabel("x")
plt.ylabel("频率 p")
plt.title("F(4,4000)")
plt.show()

Connection

F分布的密度函数的图像是一个只取非负值的偏态分布。接下来，我们来看看之前学过的样本均值和样本方差与F分布的联系：

设 $x_1,x_2,\cdots ,x_m$ 是来自 $N\left({\mu }_1,{\sigma }_1^2\right)$ 的样本， $y_1,y_2,\cdots ,y_n$ 是来自 $N\left({\mu }_2,{\sigma }_2^2\right)$ 的样本， 且此两样本相互独立， 记：
$$s_x^2=\frac{1}{m-1}\sum _{i=1}^m{\left(x_i-\bar{x}\right)}^2,s_y^2=\frac{1}{n-1}\sum _{i=1}^n{\left(y_i-\bar{y}\right)}^2,$$
其中
$$\bar{x}=\frac{1}{m}\sum _{i=1}^m{x}_i,\bar{y}=\frac{1}{n}\sum _{i=1}^n{y}_i,$$
则有
$$F=\frac{s_x^2/{\sigma }_1^2}{s_y^2/{\sigma }_2^2}\sim F(m-1,n-1)$$
特别， 若 ${\sigma }_1^2={\sigma }_2^2$， 则 $F=s_x^2/s_y^2\sim F(m-1,n-1)$。

t分布及其统计量：

设随机变量 $X_1$ 与 $X_2$ 独立且 $X_1\sim N(0,1),X_2\sim {\chi }^2(n)$, 则称 $t=\frac{X_1}{\sqrt{X_2/n}}$ 的分布为自由度为 $n$ 的 $t$ 分布， 记为 $t\sim t(n)$。

# 使用scipy与matplotlib绘制不同的n下的t分布的密度函数
from scipy.stats import t
from scipy.stats import norm 
x = np.linspace(-6,6,10000)  
plt.plot(x, t.pdf(x,4),'--', lw=5, alpha=0.6, label='t (4)',c='red')
plt.plot(x, norm.pdf(x,loc=0,scale=1),'r-', lw=5, alpha=0.6, label='N (0,1)',c='yellow')
plt.plot(x, t.pdf(x,100),'--', lw=5, alpha=0.6, label='t (100)',c='blue')
plt.xlabel("X")
plt.ylabel("p (x)")
plt.legend()
plt.show()

可以看到：当自由度较大 $($ 如 $n⩾30)$ 时, $t$ 分布可以用 $N(0,1)$ 分布近似。下面，我们使用样本均值和样本方差构造t统计量：

设 $x_1,x_2,\cdots ,x_n$ 是来自正态分布 $N\left(\mu ,{\sigma }^2\right)$ 的一个样本， $\bar{x}$ 与 $s^2$ 分别是该样本的样本均值与样本方差， 则有
$$t=\frac{\sqrt{n}(\bar{x}-\mu )}{s}\sim t(n-1)$$
t分布用于少量数据的统计分析

参数估计之点估计的概念

估计：通过样本统计量对总体分布的未知参数进行估计。

估计的方法有点估计与区间估计，点估计希望使用一个数估计总体中的位置参数，如$\mu =0$就是指使用一个数0去估计总体中的参数$\mu$，而0是由抽样后计算某个样本统计量得来的。换句话说，区间估计指的是使用一个区间估计总体中的参数，区间估计解决了点估计无法评价估计的精度的问题，这点我们在后面详细看，我们先学习点估计。

设 $x_1,x_2,\cdots ,x_n$ 是来自总体的一个样本， 用于估计未知参数 $\theta$ 的统计量 $\hat{\theta }=\hat{\theta }\left(x_1,x_2,\cdots ,x_n\right)$ 称为 $\theta$ 的估计量， 或称为 $\theta$ 的点估计， 简称估计。

参数估计之点估计的方法：矩估计

1. 总体矩和中心矩

对于一个随机变量X来说，随机变量X的矩可以分为原点矩和中心矩，具体来说：

设 $X$ 为随机变量， $k$ 为正整数。 如果以下的数学期望都存在， 则称
$${\mu }_k=E\left(X^k\right)$$
为 $X$ 的 $k$ 阶原点矩。 称
$${\nu }_k=E(X-E(X){)}^k$$
为 $X$ 的 $k$ 阶中心矩。

随机变量的原点矩刻画了随机变量$X$偏离原点$(0,0)$的程度，而中心矩描述了随机变量$X$偏离“中心”的程度

样本矩
设 $x_1,x_2,\cdots ,x_n$ 是样本， $k$ 为正整数， 则统计量
$$a_k=\frac{1}{n}\sum _{i=1}^n{x}_i^k$$
称为样本 $k$ 阶原点矩。 特别地， 样本一阶原点矩就是样本均值。 统计量
$$b_k=\frac{1}{n}\sum _{i=1}^n{\left(x_i-\bar{x}\right)}^k$$
称为样本 $k$ 阶中心矩。 特别地， 样本二阶中心矩就是样本方差。

# 假设总体是标准正态分布，求3阶原点矩和中心矩
from scipy.stats import norm
x_i = norm.rvs(loc=0, scale=1, size=10000)
a3 = np.mean(np.power(x_i,3))
b3 = np.mean(np.power((x_i-np.mean(x_i)), 3))
print("3阶原点矩：",a3)
print("3阶中心矩：",b3)

（2）矩估计

原理：格利纹科定理：使用经验分布函数替换总体分布。
替换原理就是矩估计，如：使用样本均值$\bar{x}$估计总体均值$E(X)$、使用样本方差$s^2$估计总体方差$Var(X)$、用事件的频率估计事件的概率、使用样本分位数估计总体分位数等
【例子】假设总体服从指数分布，其密度函数为
$$p(x;\lambda )=\lambda {\mathrm{e}}^{-\lambda x},x⩾0$$
从该总体中抽样1000个样本，估计总体分布的参数$\lambda$。

解：

$k=1$， 由于 $E(X)=1/\lambda$，即 $\lambda =1/E(X)$，因此，$\lambda$的矩估计为：
$$\hat{\lambda }=\frac{1}{\bar{x}}$$

# 假设真实值lambda = 5
from scipy.stats import expon
real_lmd = 5
x_i = np.random.exponential(scale=1/real_lmd, size=1000)
print("矩估计为：",1/np.mean(x_i))

参数估计之点估计的方法：极大似然估计

极大似然估计就是利用已知的样本结果信息，反推最有可能（最大概率）导致这些样本结果出现的模型参数值

# 使用sympy演示极大似然估计的案例
from sympy import *
p = Symbol('p')  #定义总体参数
P_p = p**7*(1-p)**3  # 定义似然函数
lnP_p = ln(P_p) # 化简为对数似然
d_ln_P = diff(lnP_p, p) # 求导函数
p_hat = solve(d_ln_P, p) # 导函数为0
print("p的极大似然估计为：",p_hat)

：对正态总体 $N\left(\mu ,{\sigma }^2\right),\theta =\left(\mu ,{\sigma }^2\right)$ 是二维参数， 设有样本 $x_1,x_2,\cdots ,x_n$，求总体参数$\mu$和${\sigma }^2$。
$$\begin{array}{rl}L\left(\mu ,{\sigma }^2\right)=& \prod _{i=1}^n\left(\frac{1}{\sqrt{2\pi }\sigma }\exp \left\{-\frac{{\left(x_i-\mu \right)}^2}{2{\sigma }^2}\right\}\right)={\left(2\pi {\sigma }^2\right)}^{-n/2}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{\left(x_i-\mu \right)}^2\right\}\\ & \ln L\left(\mu ,{\sigma }^2\right)=-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{\left(x_i-\mu \right)}^2-\frac{n}{2}\ln {\sigma }^2-\frac{n}{2}\ln (2\pi )\end{array}$$
为了求解对数似然函数的最大化，需要$lnL(\mu ,{\sigma }^2)$对$\mu$和${\sigma }^2$求偏导函数，然后求偏导函数的零点。
$$\begin{array}{c}\frac{\partial \ln L\left(\mu ,{\sigma }^2\right)}{\partial \mu }=\frac{1}{{\sigma }^2}\sum _{i=1}^n\left(x_i-\mu \right)=0\\ \frac{\partial \ln L\left(\mu ,{\sigma }^2\right)}{\partial {\sigma }^2}=\frac{1}{2{\sigma }^4}\sum _{i=1}^n{\left(x_i-\mu \right)}^2-\frac{n}{2{\sigma }^2}=0.\end{array}$$
解这个方程组，就可以得到：
$$\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i=\bar{x}$$
和
$${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n{\left(x_i-\bar{x}\right)}^2=s_n^2$$

正态分布的$\mu$和${\sigma }^2$的极大似然估计竟然是样本均值$\bar{x}$和有偏样本方差$s_n^2$，这就将我们的估计与统计量连接起来了。一般来说，估计的结果都与从该分布抽样的样本组成的样本统计量有关，如样本均值$\bar{x}$样本方差$s^2$

参数估计之点估计的评价：无偏性与有效性

1. 无偏性

使用某个统计量估计总体参数时，由于样本具有随机性，统计量始终与总体参数有一定的差距，这种差距时而偏大，时而偏小，但是平均起来统计量与总体参数之间的差距为0。可以想像成一个箭靶，箭靶中心是总体参数，我们最想要的就是一击必中靶心，但是由于各种因素，我们每次实际的射击（统计量）与实际靶心有一定的差距，有时射出的箭位于靶心上方，有时射出的箭位于靶心的下方，但是平均起来这种差距会被抵消为0。即：

设 $\hat{\theta }=\hat{\theta }\left(x_1,x_2,\cdots ,x_n\right)$ 是 $\theta$ 的一个估计， $\theta$ 的参数空间为 $\Theta$， 若对任意的 $\theta \in \Theta$， 有
$$E_{\theta }(\hat{\theta })=\theta ,$$
则称 $\hat{\theta }$ 是 $\theta$ 的无偏估计， 否则称为有偏估计。

2）有效性：

对于同一个总体参数的估计统计量的构造方式多种多样，同时对于同一个总体参数的无偏估计也有很多个统计量进行估计，因此如何从众多的无偏估计统计量中选择合适的统计量估计总体参数呢？其实，最直观的方式是：如果该统计量围绕总体分布的参数值波动越小越好，因此波动越小，由于随机性导致的统计量每次估计总体分布参数时不会差别太大。波动可以使用方差来衡量，因此应该选择无偏估计的统计量中方差最小的统计量作为最有效的统计量。具体来说：

设 ${\hat{\theta }}_1,{\hat{\theta }}_2$ 是 $\theta$ 的两个无偏估计， 如果对任意的 $\theta \in \Theta$ 有
$$\mathrm{Var}\left({\hat{\theta }}_1\right)⩽\mathrm{Var}\left({\hat{\theta }}_2\right),$$
且至少有一个 $\theta \in \Theta$ 使得上述不等号严格成立， 则称 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 有效。

8.参数估计之区间估计（了解）

参数的点估计是使用一个具体的数值（统计量）估计总体分布的参数值，这样做的有点就是方便计算与方便使用，但是点估计的精度如何，点估计本身是无法回答的。解决这个问题一个比较复杂的是方法是：构造统计量的分布，即抽样分布，然后使用一个区间估计总体分布的参数，这就是区间估计。设 $\theta$ 是总体的一个参数， $x_1,x_2,\cdots ,x_n$ 是抽样的样本， 区间估计就是要找到两个统计量 ${\hat{\theta }}_L={\hat{\theta }}_L\left(x_1,x_2,\cdots ,x_n\right)$ 和 ${\hat{\theta }}_U={\hat{\theta }}_U\left(x_1,x_2,\cdots ,x_n\right)$， 使得 ${\hat{\theta }}_L<{\hat{\theta }}_U$， 在得到样本观测值之后， 就把 $\theta$ 估计在区间 $\left[{\hat{\theta }}_L,{\hat{\theta }}_V\right]$ 内。 样本是具有随机性的, 区间 $\left[{\hat{\theta }}_L,{\hat{\theta }}_V\right]$ 盖住未知参数 $\theta$ 的可能性并不确定， 人们通常要求区间 $\left[{\hat{\theta }}_L,{\hat{\theta }}_v\right]$ 盖住 $\theta$ 的概率 $P\left({\hat{\theta }}_L⩽\theta ⩽{\hat{\theta }}_U\right)$ 尽可能大， 但是只要无限增大区间的范围就好了，然后区间越小是估计得越好的。 为解决此矛盾，把区间 $\left[{\hat{\theta }}_L,{\hat{\theta }}_V\right]$ 盖住 $\theta$ 的概率 ( 以后称为置信 水平) 事先给定。下面给出区间估计的完整概念（如果看不懂可以直接看例子）：

设 $\theta$ 是总体的一个参数，其参数空间为 $\Theta ,x_1,x_2,\cdots ,x_n$ 是来自该总体的样本, 对给定的一个 $\alpha (0<\alpha <1)$， 假设有两个统计量 ${\hat{\theta }}_L={\hat{\theta }}_L\left(x_1,x_2,\cdots ,x_n\right)$ 和 ${\hat{\theta }}_U=$ ${\hat{\theta }}_U\left(x_1,x_2,\cdots ,x_n\right)$， 若对任意的 $\theta \in \Theta$， 有
$$P_{\theta }\left({\hat{\theta }}_L⩽\theta ⩽{\hat{\theta }}_U\right)⩾1-\alpha ,$$
则称随机区间 $\left[{\hat{\theta }}_L,{\hat{\theta }}_V\right]$ 为 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间，或简称 $\left[{\hat{\theta }}_L,{\hat{\theta }}_V\right]$ 是 $\theta$ 的 $1-\alpha$ 置信区间， ${\hat{\theta }}_L$ 和 ${\hat{\theta }}_U$ 分别称为 $\theta$ 的 (双侧) 置信下限和置信上限。

构造置信区间
枢轴量法；简便方法可以选择bootstrap方法
通过某个统计量T估计总体参数，置信水平为$1-\alpha$。从总体中抽样$x_1,x_2,...,x_n$，我们只需要在样本中继续抽样（重抽样），每次抽样计算一次统计量T，这样就可以构造一个抽样分布，取抽样分布的$\frac{\alpha }{2}$分位数点和$1-\frac{\alpha }{2}$分位数点作为区间左右边界即可。

# 使用bootstrap方法计算N(0,1)的mu的置信区间：样本量为1000，重抽样样本量为500, 重抽样的次数为100000次
T_list = []
N, N_re = 1000, 500
total_times = 10000
alpha = 0.05
x_i = np.random.randn(N)  # 抽样1000个
for i in range(total_times):
    x_re = np.random.choice(x_i, N_re, replace=True) # 从样本中重抽样
    T = np.mean(x_re)
    T_list.append(T)
left = np.percentile(np.array(T_list), 100*alpha/2)
right = np.percentile(np.array(T_list), 100*(1-alpha/2))
print("正态总体的mu的置信区间为：["+str(left)+", "+str(right)+"]")

(九) 假设检验之基本思想
(1) 假设检验的基本概念
假设检验是对某一个说法做出检验，提出这个说法是正确还是错误。
(2) 假设检验的步骤：
（2.1）建立假设：
$H_0:\theta \in {\Theta }_0\text{vs}{H}_1:\theta \in {\Theta }_1$

（2.2）选择统计量并给出拒绝域的形式

问题的原假设$H_0$与备择假设$H_1$是关于总体的假设，我们需要使用样本信息推断总体的假设是否是正确的，老套路就是使用统计量将所有样本的信息汇总成一个具体的数值，如：$x_1,x_2,...,x_n$浓缩成$\bar{x}$。我们可以想像成有两个空间，一个能让我们通过样本信息拒绝原假设的拒绝域$W$，另一个是让我们通过样本信息接受原假设的接受域$\bar{W}$，拒绝域$W$和接受域$\bar{W}$都是可以通过样本信息构造出来的。因此，如果（检验）统计量落在拒绝域$W$则拒绝原假设，相反如果落在接受域$\bar{W}$则接受原假设，但是拒绝域$W$和接受域$\bar{W}$的构造方式目前还未知！接下来，我们使用上述的例子构造拒绝域：

由于我们的原假设是正态总体的数学期望$\theta \ge 1$，因此样本均值$\bar{x}$是一个不错的统计量。如果正态总体的数学期望$\theta$越大，$\bar{x}$越大则支持原假设的力度就会越大，反之$\bar{x}$越小则越拒绝原假设。因此，当$\bar{x}$小到一定的程度，就拒绝原假设，拒绝域的形式也随之出来：
W = { ( x 1 , x 2 , ⋯   , x n ) : x ˉ ⩽ c } = { x ˉ ⩽ c } W=\left\{\left(x_{1}, x_{2}, \cdots, x_{n}\right): \bar{x} \leqslant c\right\}=\{\bar{x} \leqslant c\} W={(x1​,x2​,⋯,xn​):xˉ⩽c}={xˉ⩽c}
其中，$c$是未确定的。
当拒绝域确定以后，如果某次的样本统计量位于拒绝域$W$则拒绝原假设，如果某次的统计量位于接受域$\bar{W}$则接受原假设。
（2.3）选择显著性水平：
某次抽样的样本统计量可能会位于拒绝域，也有可能位于接受域。换句话说，由于样本的随机性，该次检验可能会犯错
能不能同时减少两类错误的概率呢？答案是不能，这两类错误相互制约，一类错误的增加必然减少另一类错误的减少。因此，我们选择仅限制一类错误发生的概率，如：令$\alpha (\theta )=\alpha \le 0.05$

（2.4）给出拒绝域：

假设检验的一般步骤

• 建立原假设于备择假设；
• 选择合适的统计量解决检验问题；
• 写出拒绝域的形式和显著性水平（一类错误的概率$\alpha$）；
• 计算拒绝域边界的统计量分布的分位数；
• 观察统计量值是否位于拒绝域，位于拒绝域则拒绝原假设，否则接受原假设。

假设检验之正态总体参数的假设检验

1. 单个正态总体均值的检验

• （a）$\sigma ={\sigma }_0$ 已知时的 $u$ 检验：
• （b）$\sigma$未知的单样本t检验：

2. 两个正态总体均值差的检验

• （a）${\sigma }_1,{\sigma }_2$ 已知时的两样本 $u$ 检验：
• （b）$\sigma$ 未知时的两样本 $t$ 检验：

3. 正态总体方差的检验

• （a）单个正态总体方差的 ${\chi }^2$ 检验：
• （b）两个正态总体方差比的 $F$ 检验：

假设检验之似然比检验与Bootstrap方法

https://github.com/Git-Model/init_Modeling/blob/main/%E6%A6%82%E7%8E%87%E8%AE%BA%E4%B8%8E%E6%95%B0%E7%90%86%E7%BB%9F%E8%AE%A1/TASK4_%E6%95%B0%E7%90%86%E7%BB%9F%E8%AE%A1.ipynb