参数估计回顾

基本概念：总体，样本，统计量

总体：试验的全部可能值,使用$X$表示
样本：通过一定规则（放回抽样，不放回抽样）抽取得到一个样本或者一组样本。
一个个抽取得到的每一个特体也成为一个样本；一次抽取n个得到一组样本，n称为样本容量。
样本也看做是一个 随机向量 表示$(X_1,X_2,X_3,...,X_n)$。

1. 在抽样实施之前，把样本看做随机变量，便于研究；
2. 在抽样实施之后，得到一组随机变量的观测值，这时样本是一组数$(x_1,x_2,...,x_n)$。

样本既是一个随机向量，又是一组数。

总体X是具有分布函数F的随机变量，$(X_1,X_2,X_3,...,X_n)$ 是具有分布函数F的独立同分布的随机变量。
样本(随机向量)$(X_1,X_2,X_3,...,X_n)$的分布函数$F(x_1,x_2,...,x_n)$为

$$F(x_1,x_2,...,x_n) = \prod_{i=1}^nF(x_i)$$
如果 $X$的概率密度函数为$f$，则样本(随机向量) $(X_1,X_2,X_3,...,X_n)$的概率密度函数为 $$f(x_1,x_2,...,x_n) = \prod_{i=1}^nf(x_i)$$

统计量
刻画总体某些参数，统计量是样本的函数。
比如知道总体是正态分布但是$\mu$,$\sigma$未知，这时我们从总体中抽取一组样本，对样本分析，得到一个适当的统计量$\hat \mu$,$\hat\sigma$估计总体的$\mu$,$\sigma$。
为什么能够使用统计量近似真实的未知量？因为有大数定律。
通常情况，统计量使用$\hat\theta(\theta_1,\theta_2,...,\theta_n)$表示有n个未知参量。如上述$\hat \mu$,$\hat\sigma$，令$\theta_1=\hat \mu$,$\theta_2 = \hat\sigma$.
统计量是一个确定的数。
统计量是一个随机变量，因为样本具有随机性，所以统计量有概率分布。比如(随机向量)$(X_1,X_2,X_3,...,X_n)$是总体$X\sim N(\mu,\sigma^2)$的一个样本，则统计量$\bar x \sim N(\mu,\sigma^2)$。

极大似然估计

参数估计包括了矩估计和极大似然估计，这里只介绍极大似然估计。
样本是总体的一个随机抽样，每个样本是独立的，与总体同分布的。
对于总体X，如果随机变量是连续的，概率密度函数为$f(x;\theta)$,对于其样本($x_1,x_2,x_3,...,x_n$),令L作为$\theta$的函数就是似然函数，

$$L(X;\theta) = \prod_i^nf(x_i;\theta)$$
通常情况下，取对数 $$ln(L(X;\theta)) = ln(\prod_i^nf(x_i;\theta))=\sum_i^nlnf(x_i;\theta)$$
要求上式的最值，也就是求多元函数极值的问题。
可以用泰勒展开再根据极值定理求解，或者将其转为矩阵形式，用正定二次型来判断。
步骤：

例子一

$X\sim N(\mu,\sigma^2)$,求$\mu$,$\sigma^2$的极大似然估计。
分析：
总体服从$\mu$,$\sigma^2$的连续分布，可以写出总体的概率密度函数

$$f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$
样本( $x_1,x_2,x_3,...,x_n$)的概率密度函数为
$$f(x_i) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}$$

用$\theta_1$,$\theta_2$代替$\mu$,$\sigma$，写出似然函数

$$L(X;\;\theta_1,\theta_2) = \prod_i^nf(x_i)=(2\pi{\theta_2}^2)^{-\frac{n}{2}}e^{-\frac{1}{2{\theta_2}^2}\sum_i^n{(x_i-{\theta_1})^2}}$$
取对数
$$ln(L(X;\;\theta_1,\theta_2))=-\frac{n}{2}ln((2\pi{\theta_2}^2))-\frac{1}{2{\theta_2}^2}\sum_i^n{(x_i-{\theta_1})^2}$$

使用极值定理求参数值,求导并令其导数值为0.

$$\frac {\partial ln(L(X;\;\theta_1,\theta_2))} {\partial \theta_1}=\frac{1}{{\theta_2}^2}\sum_i^n{(x_i-{\theta_1})}=0$$ $$x_1+x_2+x_3+...+x_n-n\theta_1=0$$ $$\theta_1=\bar x$$
$$\frac {\partial ln(L(X;\;\theta_1,\theta_2))} {\partial \theta_2}=-\frac{n}{\theta_2}+\frac{1}{{\theta_2}^3}\sum_i^n{(x_i-{\theta_1})^2}=0$$ $${\theta_2}^2=\frac{1}{n}\sum_i^n{(x_i-{\theta_1})^2}$$
代入 $\theta_1=\bar x$得 $${\theta_2}^2=\frac{1}{n}\sum_i^n{(x_i-\bar x)^2}$$

例子二

例子三

先写出似然函数



求极值点并验证是否为最值。

---

参考：

概率论与数理统计 https://www.bilibili.com/video/av17582696/
最大概似法 https://www.youtube.com/watch?v=t_KUThpWWcY
StatQuest: Maximum Likelihood: https://www.youtube.com/watch?v=XepXtl9YKwc
StatQuest: Maximum Likelihood Example https://www.youtube.com/watch?v=cDlNsHUBmw4