概率统计Python计算：连续型总体未知参数的最大似然估计

设$(X_1,X_2,\cdots ,X_n)$是来自总体$X$的样本，$(x_1,x_2,\cdots ,x_n)$为样本的一个观测值。已知$X$的分布，其中含有$m$个未知参数${\theta }_1,{\theta }_2,\cdots ,{\theta }_m$，记$\theta =({\theta }_1,{\theta }_2,\cdots ,{\theta }_m)$。即若$X$为离散型的，已知分布律$P(X=x_k;\theta )=p(x_k;\theta )$，$k=1,2,\cdots$。若$X$为连续型的，已知密度函数$f(x;\theta )$。样本$(X_1,X_2,\cdots ,X_n)$为一$n$-维随机向量，且$X_1,X_2,\cdots ,X_n$独立同分布。若$X$是离散型的，根据上面的假设，$(X_1,X_2,\cdots ,X_n)$的联合分布律为
$$P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta )$$
若$X$为连续型的，$(X_1,X_2,\cdots ,X_n)$的联合密度函数为
$$f(x_1,x_2,\cdots ,x_n;\theta )=\prod _{i=1}^{n}f(x_i;\theta )$$
上述的$P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n;\theta )$和$f(x_1,x_2,\cdots ,x_n;\theta )$统一地称为样本的似然函数，记为$L(x_1,x_2,\cdots ,x_n;\theta )=L(x_1,x_2,\cdots ,x_n;{\theta }_1,{\theta }_2,\cdots ,{\theta }_m)$。
在总体参数$\theta =({\theta }_1,{\theta }_2,\cdots ,{\theta }_m)$的似然函数$L(x_1,x_2,\cdots ,x_n;\theta )$中，仅将${\theta }_1,{\theta }_2,\cdots ,{\theta }_m$视为变元，其他视为常数，则可简记为$L(\theta )=L({\theta }_1,{\theta }_2,\cdots ,{\theta }_m)$。若$X$是离散型的，令 Θ = { θ ∣ 0 < L ( θ ) < 1 } \Theta=\{\theta|0<L(\theta)<1\} Θ={θ∣0<L(θ)<1}，若$X$是连续型的，令 Θ = { θ ∣ L ( θ ) > 0 } \Theta=\{\theta|L(\theta)>0\} Θ={θ∣L(θ)>0}。我们设法计算使得似然函数$L(\theta )$最大（也就是使$(X_1,X_2,\cdots ,X_n)$的联合分布在$(x_1,x_2,\cdots ,x_n)$处概率最大）的$\theta$的值$\stackrel{\wedge }{\theta }=({\stackrel{\wedge }{\theta }}_1,{\stackrel{\wedge }{\theta }}_2,\cdots ,{\stackrel{\wedge }{\theta }}_m)$。即
L ( θ ∧ ) = max ⁡ θ ∈ Θ { L ( θ ) } L(\stackrel{\wedge}{\theta})=\max\limits_{\theta\in\Theta}\{L(\theta)\} L(θ∧​)=θ∈Θmax​{L(θ)}
其中，${\stackrel{\wedge }{\theta }}_i$（$i=1,2,\cdots ,m$）一定是$(x_1,x_2,\cdots ,x_n)$的函数${\stackrel{\wedge }{\theta }}_i(x_1,x_2,\cdots ,x_n)$，称为参数${\theta }_i$的{\heiti{最大似然估计值}}。而将$\stackrel{\wedge }{{\theta }_i}(X_1,X_2,\cdots ,X_n)$称为参数${\theta }_i$（$i=1,2,\cdots ,m$）的最大似然估计量。
为计算已知分布类型的连续型总体$X$中未知参数的最大似然估计值，可以调用表示该类分布的对象的fit函数，其调用接口为
$$\text{fit(data)}$$
其中参数data传递样本数据，返回分布的loc、scale参数的最大似然估计值。根据loc、scale与总体的待估参数之间的对应关系，即可算得待估参数的最大似然计值。
例1 设总体$X$~$U(a,b)$，$a$和$b$未知。来自总体$X$的，容量$n=20$的样本观测值为
$$\begin{gathered} 1.248,1.664,1.101,1.967,1.468,1.140,1.434,1.063,1.878,1.375 \\ 1.819,1.704,1.328,1.619,1.830,1.764,1.034,1.553,1.878,1.166 \end{gathered}$$
试计算$a$和$b$的最大似然计值。
解： 下列代码完成本例的计算。

import numpy as np                              #导入numpy
from scipy.stats import uniform                 #导入uniform
x=np.array([1.248, 1.664 ,1.101 ,1.967 ,1.468,  #设置样本数据数组
            1.140, 1.434, 1.063, 1.878, 1.375,
            1.819, 1.704, 1.328, 1.619, 1.830,
            1.764, 1.034, 1.553, 1.878, 1.166])
l, s=uniform.fit(x)                             #loc,scale的矩估计
a=l                                             #a的矩估计
b=a+s                                           #b的矩估计
print('最大似然估计a=%.4f, b=%.4f'%(a, b))

注意，第7行调用uniform（第2行导入）的fit函数，计算均匀分布的最大似然估计仅返回loc和scale的估计值。运行程序，输出

最大似然估计a=1.0340, b=1.9670

写博不易，敬请支持：
如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！
代码诚可贵，原理价更高。若为AI学，读正版书好。
返回《导引》