概率论复习笔记

第一章 随机事件及其概率

频率稳定值$\Rightarrow$引入”概率“的概念

一、等可能概型（古典概型）

若随机试验$E$满足以下条件：

(1)样本空间$S$只有有限个样本点，即 S = { e 1 , e 2 , . . . e n } S=\{e_1,e_2,...e_n\} S={e1​,e2​,...en​}；

(2)每个样本点出现的可能性相同，即对基本事件 { e i } ( i = 1 , 2 , . . n ) \{e_i\}(i=1,2,..n) {ei​}(i=1,2,..n)而言，有

P ( { e 1 } ) = P ( { e 2 } ) = . . . P ( { e n } ) P(\{e_1\})=P(\{e_2\})=...P(\{e_n\}) P({e1​})=P({e2​})=...P({en​})

则称这类随机现象的数学模型为等可能概型

应用：

取小球、取灯泡次品、掷骰子

引出：

生日悖论$\Rightarrow$设计密码学攻击方法

几何概型$\Rightarrow$无穷多个样本点时，抽象成落点区域的面积(蒲丰投针实验求$\pi$)

二、全概率公式

设试验$E$的样本空间为S，$A$为$E$的一个事件，$B_1,B_2,...B_n$为$S$的一个划分，且$P(B_i)>0,i=1,2,...n$，则

$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+...P(A|B_n)P(B_n)$称为全概率公式

证明：

根据加法公式

应用：

直接求$P(A)$不好求$\Rightarrow$找到S的一个合适的划分，根据全概率公式求

三、贝叶斯公式

设实验$E$的样本空间为$S$，$A$为$E$的事件，$B_1,B_2,...B_n$为S的一个划分，且$P(A)>0,P(B_i)>0,i=1,2,...n$则有

$P(B_i|A)=$$\frac{P(B_i)P(A|B_i)}{{\sum }_{j=1}^{n}P(B_j)P(A|B_j)}$

$P(B_i)$称为先验概率，它反映了各种原因发生的可能性大小，”主观概率“

$P(B_i|A)$称为后验概率

证明：

条件公式+全概率公式

第二章 随机变量及其分布

随机变量的引入 意义重大

一、离散型随机分布

1.二项分布

对于实验$E$，各次实验独立，只有两个可能的对立结果：$A$ 和$\overline{A}$，重复进行$n$次，称这一串重复的独立试验为$n$重伯努利试验，称随机变量$X$服从参数为$n,p$的二项分布，$X\sim B(n,p)$。

P { X = k } = C n k p k ( 1 − p ) n − k ， ( k = 0 , 1 , . . . n , 0 < p < 1 ) P\{X=k\}=C_n^kp^k(1-p)^{n-k}，(k=0,1,...n,0<p<1) P{X=k}=Cnk​pk(1−p)n−k，(k=0,1,...n,0<p<1)

特别的，当n=1时，称为**(0-1)分布**

对于概率 P { X = k } P\{X=k\} P{X=k}的最大值问题： P { X = k } = m a x { P { ( n + 1 ) p } , P { ( n + 1 ) p − 1 } } P\{X=k\}=max\{P\{(n+1)p\},P\{(n+1)p-1\}\} P{X=k}=max{P{(n+1)p},P{(n+1)p−1}}

证明：

$p_k,p_{k-1}$除法证明

超几何分布产生于不放回抽样，二项分布产生于放回抽样

当n<<N时，超几何分布可以用二项分布来近似

泊松定理：

${\lim }_{n\to \infty }{C}_n^k{p}^k(1-p{)}^{n-k}=\frac{{\lambda }^k}{k!}{e}^{-\lambda }$

$\Rightarrow$ 二项分布的近似计算公式(令$np=\lambda$)

证明：

${\lim }_{n\to \infty }\frac{n!}{(n-k)!n^k}=1$

${\lim }_{n\to \infty }(1-\frac{\lambda }{n}{)}^k=1$

${\lim }_{n\to \infty }(1-\frac{\lambda }{n}{)}^n=e^{-\lambda }$

2.泊松分布

设随机变量$X$的所有可能取值为0,1,2,…，而取各个值的概率为

P { X = k } = λ k k ! e − λ , ( k = 0 , 1 , 2 , . . . , λ > 0 ) P\{X=k\}={{\lambda^k}\over{k!}}e^{-\lambda},(k=0,1,2,...,\lambda>0) P{X=k}=k!λk​e−λ,(k=0,1,2,...,λ>0)

则称$X$服从参数为$\lambda$的泊松分布，记作$X\sim \pi (\lambda )$

3.几何分布

若随机变量的$X$的分布律为

P { X = k } = ( 1 − p ) k − 1 p , ( k = 1 , 2 , . . . , 0 < p < 1 ) P\{X=k\}=(1-p)^{k-1}p,(k=1,2,...,0<p<1) P{X=k}=(1−p)k−1p,(k=1,2,...,0<p<1)

则称$X$服从几何分布，记作$X\sim G(p)$

特别的，在伯努 利试验中，事件A首次发生的试验次数服从几何分布

性质：

无记忆性： P { X > n + m ∣ X > n } = P { X > m } P\{X>n+m|X>n\}=P\{X>m\} P{X>n+m∣X>n}=P{X>m}

二、连续型随机变量及其概率密度函数

$F(x)={\int }_{-\infty }^{x}f(t)\mathrm{d}t$

${\lim }_{\Delta x\to +0}{\int }_{x_0-\Delta x}^{x_0}f(x)\mathrm{d}x=0\Rightarrow$ 取任一指定的实数值的概率为零，即 P { X = x 0 } = 0 P\{X=x_0\}=0 P{X=x0​}=0

$P(A)=0$不意味着A是不可能事件，这是从微元的角度上来说的

1.均匀分布

若连续型随机变量$X$的概率密度函数为

$f(x)=\{\begin{array}{ll}\frac{1}{b-a}& \text{a<x<b}\\ 0& \text{else}\end{array}$

则称$X$在区间$(a,b)$上服从均匀分布，记作$X\sim U(a,b)$

2.指数分布

若连续型随机变量$X$的概率密度函数为

$f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x}& \text{x>=0}\\ 0& \text{x<0}\end{array}$

其中$\lambda >0$为常数，则称$X$服从参数为$\lambda$的指数分布，记作$X\sim E(\lambda )$

满足无记忆性，在可靠性理论和排队论中广泛应用

3.正态分布

若连续型随机变量$X$的概率密度函数为

$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$

其中$\sigma >0,\mu$为常数，则称$X$服从参数为$\mu ,\sigma$的正态分布或高斯分布，记作$X\sim N(\mu ,{\sigma }^2)$

特别的，当$\mu =0,\sigma =1$时的正态分布称为标准正态分布，记作$N(0,1)$

定理1：若$X$服从正态分布$N(\mu ,{\sigma }^2)$，则$Z=\frac{X-\mu }{\sigma }$服从标准正态分布

发现1：对于标准正态分布而言，当变量值落在$\mu \pm 3\sigma$的范围内时，几乎是必然事件，这就是”3$\sigma$"原则

三、随机变量的函数分布

设随机变量$X$具有概率密度函数$f_X(x),-\infty <x<+\infty$，又设函数$g(x)$处处可导且严格单调，$h(y)$是$g(x)$的反函数，则$Y=g(X)$是连续型随机变量，其概率密度函数为

$f_Y(y)=\{\begin{array}{ll}{f}_X[h(y)]|h^{\prime }(y)|& \alpha <y<\beta \\ 0& \text{else}\end{array}$

1.求导+绝对值

2.注意分段单调的情况

第三章 多维随机变量及其分布

二维随机变量$(X,Y)$的性质不仅与$X$和$Y$有关，而且还依赖于这两个随机变量的相互关系。

作为整体研究时：联合分布函数 F ( x , y ) = P { X < = x } ⋂ P { Y < = y } F(x,y)=P\{X<=x\}\bigcap P\{Y<=y\} F(x,y)=P{X<=x}⋂P{Y<=y}

单独考虑某一个随机变量的概率分布问题： F X ( x ) = P { X < = x , Y < + ∞ } F_X(x)=P\{X<=x,Y<+\infty\} FX​(x)=P{X<=x,Y<+∞}

$X,Y$相互独立的充要条件：对任意的实数$x,y$,都有$f(x,y)=f_X(x)f_Y(y)$

两种典型的：二维均匀分布，二维正态分布

一、边缘分布

暂时不考虑二维离散型随机变量：

设$f(x,y)$是$(X,Y)$的概率密度函数，则$(X,Y)$关于$X,Y$的边缘概率密度函数为：

$f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy$

$f_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)dx$

二、条件分布

设$(X,Y)$的概率密度函数为$f(x,y)$,$f_Y(y)$为Y的边缘概率密度函数，对于固定的$y$，$f_Y(y)>0$,$\frac{f(x,y)}{f_Y(y)}$为在$Y=y$的条件下$X$的条件概率密度函数，记为：

$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$

三、二维随机变量的函数分布

1.Z=X+Y的分布

F Z ( z ) = P { Z ≤ z } = ∬ x + y ≤ z f ( x , y ) d x d y F_Z(z)=P\{Z \leq z\}=\iint_{x+y \leq z}f(x,y)dxdy FZ​(z)=P{Z≤z}=∬x+y≤z​f(x,y)dxdy

$={\int }_{-\infty }^{+\infty }[{\int }_{-\infty }^{z-y}f(x,y)dx]dy$

$={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{z}f(u-y,y)dudy$

$={\int }_{-\infty }^z[{\int }_{-\infty }^{+\infty }f(u-y,y)dy]du$

故$f_Z(z)={\int }_{-\infty }^{+\infty }f(z-y,y)dy$

同理，$f_Z(z)={\int }_{-\infty }^{+\infty }f(x,z-x)dx$

特别的，当$X,Y$相互独立时，$f_Z(z)={\int }_{-\infty }^{+\infty }{f}_X(z-y)f_Y(y)dy$

$f_Z(z)={\int }_{-\infty }^{+\infty }{f}_X(x)f_Y(z-x)dx$

卷积公式，记作$f_X\ast f_Y$

推广：对于两个正态分布，$Z=X+Y$服从正态分布$N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$

2.Z=X/Y和Z=XY的分布

$f_Z(z)=f_{\frac{X}{Y}}(z)={\int }_{-\infty }^{+\infty }|y|f(yz,y)dy$

$f_Z(z)=f_{XY}(z)={\int }_{-\infty }^{+\infty }|\frac{1}{X}|f(x,\frac{z}{x})dx$

同样可以推广到$X,Y$相互独立的情况

第四章 随机变量的数字特征

数字特征$\Rightarrow$概略地描述随机变量的基本特点，能代表随机变量的主要特征

一、数学期望

它描述了随机变量一切可能取值的平均水平

离散型随机变量：$E(X)={\sum }_{k=1}^{+\infty }{x}_k{p}_k$

连续型随机变量：$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$

离散型随机变量函数：$E(Y)=E[g(X)]={\sum }_{k=1}^{+\infty }g(x_k)p_k$

连续型随机变量函数：$E(Y)=E[g(X)]={\int }_{-\infty }^{+\infty }g(x)f(x)dx$

推广到二维连续型：$E(Z)=E[g(x,y)]={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$

所有的数学期望存在的充要条件是后式绝对收敛

性质：

对于常数$C$,$E(CX)=CE(X)$

$E(X+Y)=E(X)+E(Y)$

$E(XY)=E(X)E(Y)$是$X,Y$相互独立的必要条件，而不是充要条件

二、方差

它反映了随机变量取值与数学期望值的偏离程度，越小越集中

方差： V a r ( X ) = D ( X ) = E { [ X − E ( X ) ] 2 } Var(X)=D(X)=E\{[X-E(X)]^2\} Var(X)=D(X)=E{[X−E(X)]2}

标准差：$\sigma (X)=\sqrt{D(X)}$

计算方法：

$D(X)={\int }_{-\infty }^{+\infty }[x-E(X){]}^{2}f(x)dx$

$D(X)=E(X^2)-[E(X){]}^2$

性质：

对于常数$C$,$D(CX)=C^{2}D(X)$

$D(X+Y)=D(X)+D(Y)+2E(X-E[X])(Y-E[Y])$

$D(X+Y)=D(X)+D(Y)$是$X,Y$相互独立的必要条件，而不是充要条件

常见随机变量的数学期望和方差总结：

1.二项分布

$E(X)=p,D(X)=p(1-p)$

2.泊松分布

$E(X)=\lambda ,D(X)=\lambda$

3.几何分布

$E(X)=\frac{1}{p},D(X)=\frac{1-p}{p^2}$

4.均匀分布

$E(X)=\frac{a+b}{2},D(X)=\frac{(b-a{)}^2}{12}$

5.指数分布

$E(X)=\frac{1}{\lambda },D(X)=\frac{1}{{\lambda }^2}$

6.正态分布

$E(X)=\mu ,D(X)={\sigma }^2$

三、协方差及相关系数

对于二维随机变量，描述$X$和$Y$之间的相互关系

协方差： C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } = E ( X Y ) − E ( X ) E ( Y ) Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}=E(XY)-E(X)E(Y) Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}=E(XY)−E(X)E(Y)

性质：

$Cov(X,X)=D(X)$

$Cov(aX,bY)=abCov(X,Y)$

$Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)$

相关系数：${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$

$|\rho |\le 1$，反映了$X$和$Y$之间的线性相关程度，=0表示不相关，=1正相关，=-1负相关

柯西-施瓦兹不等式：$[E(XY){]}^2\le E(X^2)E(Y^2)$当且仅当 P { Y = t 0 X } = 1 P\{Y=t_0X\}=1 P{Y=t0​X}=1时取等

$X,Y$独立可以推出不相关，但反之不行，即不相关是独立的必要条件

四、矩、协方差矩阵

$E(X^k)$存在，称为$k$阶矩

E { [ X − E ( X ) ] K } E\{[X-E(X)]^K\} E{[X−E(X)]K}存在，称为$k$阶中心矩

$E(X^k{Y}^l)$存在，称为$k+l$阶混合矩

E { [ X − E ( X ) ] K [ Y − E ( Y ) ] l } E\{[X-E(X)]^K[Y-E(Y)]^l\} E{[X−E(X)]K[Y−E(Y)]l}存在，称为$k+l$阶混合中心矩

$Cov(X_i,X_j)$构成的矩阵称为$(X_1,X_2,...X_n)$的协方差矩阵

跳出二维，为了描述更多维度的相关性！！

第五章 大数定律和中心极限定理

一、大数定律

切比雪夫不等式是主要基础

P { ∣ X − μ ∣ ≥ ϵ } ≤ σ 2 ϵ 2 P\{|X-\mu| \geq \epsilon\}\leq {\sigma^2\over \epsilon^2} P{∣X−μ∣≥ϵ}≤ϵ2σ2​

证明：

$D(X)$基础定义+分布函数定义

1.切比雪夫大数定律

设 { X k } ( k = 1 , 2 , . . ) \{X_k\}(k=1,2,..) {Xk​}(k=1,2,..)为两两相互独立的随机变量序列，且数学期望存在，方差$D(X_k)\le c(k=1,2,..)$，则对于任意的正数$ϵ$，有

lim ⁡ n → + ∞ P { ∣ 1 n ∑ k = 1 n X k − 1 n E ( ∑ k = 1 n X k ) ∣ < ϵ } = 1 \lim_{n \to +\infty}P\{|{1\over n}\sum_{k=1}^{n}X_k-{1\over n}E(\sum_{k=1}^{n}X_k)|<\epsilon\}=1 limn→+∞​P{∣n1​∑k=1n​Xk​−n1​E(∑k=1n​Xk​)∣<ϵ}=1

2.伯努利大数定律

设随机变量$X_n\sim B(n,p),n=1,2,..$，则有

lim ⁡ n → + ∞ P { ∣ X n n − p ∣ < ϵ } = 1 \lim_{n \to +\infty}P\{|{X_n\over n}-p|<\epsilon\}=1 limn→+∞​P{∣nXn​​−p∣<ϵ}=1

3.辛钦大数定律

设随机变量$X_1,X_2..X_n$独立同分布，具有数学期望$E(X_i)=\mu$，则有

lim ⁡ n → + ∞ P { ∣ 1 n ∑ i = 1 n X i − μ ∣ < ϵ } = 1 \lim_{n \to +\infty}P\{|{1\over n}\sum_{i=1}^{n}X_i-\mu|<\epsilon\}=1 limn→+∞​P{∣n1​∑i=1n​Xi​−μ∣<ϵ}=1

注：此时不要求方差存在

二、中心极限定理

高斯指出误差服从正态分布

中心极限定理是找出某些大量的非正态分布的随机变量的和在某些条件下趋于正态分布

1.林德贝格-勒维定理

又称独立同分布的中心极限定理

在实际应用中，只要$n$充分大，就可以把独立同分布的随机变量$X_1,X_2,..X_n$的和近似看作正态随机变量$N(n\mu ,n{\sigma }^2)$

lim ⁡ n → + ∞ P { ∑ k = 1 n X k − n μ n σ ≤ x } = Φ ( x ) \lim_{n\to +\infty}P\{{\sum_{k=1}^{n}X_k-n\mu\over \sqrt{n}\sigma}\leq x\}=\Phi(x) limn→+∞​P{n ​σ∑k=1n​Xk​−nμ​≤x}=Φ(x)

2.德莫佛-拉普拉斯定理

当$n$充分大时，二项分布的极限分布就是正态分布，可以近似认为$X\sim N(np,np(1-p))$

lim ⁡ n → + ∞ P { X n − n p n p ( 1 − p ) ≤ x } = Φ ( x ) \lim_{n\to +\infty}P\{{X_n-np\over \sqrt{np(1-p)}}\leq x\}=\Phi(x) limn→+∞​P{np(1−p) ​Xn​−np​≤x}=Φ(x)

第六章 数理统计的基本概念

一、总体与样本

总体、个体、样本的概念

样本的选取一般满足代表性和独立性

二、统计量

构造统计量$\Rightarrow$对已有样本进行加工

常见的统计量：

1.样本均值

$\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$

2.样本方差

$S^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\overline{X}{)}^2$

其中，$S$称为样本标准差

3.样本k阶原点矩

$A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k,(k=1,2,..)$

4.样本k阶中心矩

$B_k=\frac{1}{n}{\sum }_{i=1}^n(X_i-\overline{X}{)}^k,(k=1,2,..)$

若总体的期望和方差存在，即$E(X)=\mu ,D(X)={\sigma }^2$

则$E(\overline{X})=\mu ,D(\overline{X})=\frac{{\sigma }^2}{n}$

$E(S^2)={\sigma }^2,E(B_2)=\frac{n-1}{n}{\sigma }^2$

三、抽样分布

全部可能样本的统计量的概率分布叫作抽样分布

几个常见的抽样分布：

1.开方分布

设随机变量$X_1,X_2,..X_n$相互独立，且均服从$N(0,1)$，则称

随机变量${\chi }^2={\sum }_{i=1}^n{X}_i^2$服从自由度为$n$的${\chi }^2$分布

性质：

$E({\chi }^2)=n,D({\chi }^2)=2n$

上$\alpha$分位点一般查表获得

若${\chi }_1^2$和${\chi }_2^2$相互独立，则${\chi }_1^2+{\chi }_2^2\sim {\chi }^2(n_1+n_2)$

2.t分布

设随机变量$X$与$Y$相互独立，$X\sim N(0,1),Y\sim {\chi }^2(n)$，则称

随机变量$T=\frac{X}{\sqrt{Y/n}}$服从自由度为$n$的$t$分布，记作$T\sim t(n)$

性质：

分布概率密度函数为偶函数

$E(T)=0,D(T)=\frac{n}{n-2},(n>2)$

3.F分布

设随机变量$X$和$Y$相互独立，且$X\sim {\chi }^2(n_1),Y\sim {\chi }^2(n_2)$，则称

随机变量$F=\frac{X/n_1}{Y/n_2}$服从自由度为$(n_1,n_2)$的$F$分布，记作$F\sim F(n_1,n_2)$

其中,$n_1,n_2$分别称为第一自由度和第二自由度

性质：

若$X\sim N(0,1),Y\sim {\chi }^2(n)$，则$\frac{n{X}^2}{Y}\sim F(1,n)$

若$F\sim F(m,n)$，则$\frac{1}{F}\sim F(n,m)$

设总体$X$服从正态分布$N(\mu ,{\sigma }^2)$，则

(1)样本均值$\overline{X}$与样本方差$S^2$相互独立

(2)${\chi }^2=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$

(3)$T=\frac{\overline{X}-\mu }{S/\sqrt{\mu }}\sim t(n-1)$

(4)${\chi }^2=\frac{1}{{\sigma }^2}{\sum }_{i=1}^n(X_i-\mu {)}^2\sim {\chi }^2(n)$

第七章 参数估计

统计推断的两个领域：参数估计和假设检验

一、点估计

1.矩估计

若总体$X$的前$k$阶矩存在，则有

${\mu }_j=E(X^j)={\mu }_j({\theta }_1,{\theta }_2,..,{\theta }_k),(j=1,2,...k)$

各阶矩是未知的，但样本矩$A_j=\frac{1}{n}{\sum }_{i=1}^n{X}_i^j(j=1,2,...k)$是可以获得的，由辛钦大数定律知，随机样本的原点矩依概率收敛于总体的原点矩，这就启发我们用样本矩替换总体矩，基于这种思想求估计量的方法称为矩估计法。矩估计法是以大样本为应用对象的。

最简单的矩估计法是用一阶样本原点矩来估计总体的期望，用二阶样本中心矩来估计总体的方差。

矩估计法的一般步骤：

针对$n$个未知参数写出$n$阶总体矩的含参计算公式

用样本矩代替总体矩

求出估计量，然后再根据需要算出估计值

例：

设总体$X$的均值$\mu$及方差${\sigma }^2$都存在且有${\sigma }^2>0$，但均为未知。又设$X_1,X_2...X_n$是来自总体的样本，求$\mu ,\sigma$的矩估计量

解：

${\mu }_1=E(X)=\mu$

${\mu }_2=E(X^2)=D(X)+[E(X){]}^2={\sigma }^2+{\mu }^2$

令$\mu =A_1,{\sigma }^2+{\mu }^2=A_2$，解上述方程组，得到

$\hat{\mu }=A_1=\overline{X}$

${\hat{\sigma }}^2=A_2-A_1^2=\frac{1}{n}{\sum }_{i=1}^n{X}_i^2-{\overline{X}}^2=\frac{1}{n}{\sum }_{i=1}^n(X_i-\overline{X}{)}^2$

用中心矩的概念和中心距的公式可以得到证明：

样本$k$阶中心距$B_k=\frac{1}{n}{\sum }_{i=1}^n(X_i-\overline{X}{)}^k,(k=1,2,..)$

E { [ X − E ( X ) ] K } E\{[X-E(X)]^K\} E{[X−E(X)]K}存在，称为$k$阶中心矩

E { [ X − E ( X ) ] 2 } = E ( X 2 ) − [ E ( X ) ] 2 E\{[X-E(X)]^2\}=E(X^2)-[E(X)]^2 E{[X−E(X)]2}=E(X2)−[E(X)]2

2.极大似然估计法

似然函数：反映样本出现的概率。

极大似然估计法：做出一种估计，尽管可能估计错误，但是只有做此估计，对事件发生才有利。即应该让似然函数取得最大值，来完成极大似然估计的一种方法。

L ( θ ) = ∏ i = 1 n P { x i , θ } L(\theta)=\prod_{i=1}^{n}P\{x_i,\theta\} L(θ)=∏i=1n​P{xi​,θ}

$\frac{dL(\theta )}{d\theta }=0$，这个方程称为似然方程。

$\frac{d^{2}L(\theta )}{d{\theta }^2}<0$

3.点估计量的评选标准

无偏性：希望估计值在未知参数真值附近随机摆动。

有效性（方差小）：被认为其观察值更密集地分布在真值附近。

一致性（基本要求） ：若估计量不具有一致性，即无论样本容量多大，都不能将待估参数估计得足够准确，那么这样的估计量是不可取的。

二、区间估计

对于连续型随机变量，点估计量对于特定样本取到真值的概率为零，这就需要我们不但要了解未知参数的点估计量，更要了解某个范围包含参数真值的可信程度。通常以置信区间的形式给出。

P { θ ‾ < θ < θ ‾ } = 1 − α P\{\underline{\theta}<\theta<\overline{\theta}\}=1-\alpha P{θ​<θ<θ}=1−α

称随机区间是参数$\theta$的置信度为$1-\alpha$的置信区间

均值$\mu$：

(1)${\sigma }^2$已知， P { X ‾ − σ n z α 2 < μ < X ‾ + σ n z α 2 } = 1 − α P\{\overline{X}-{\sigma\over \sqrt{n}}z_{\alpha\over 2}<\mu<\overline{X}+{\sigma\over \sqrt{n}}z_{\alpha\over 2}\}=1-\alpha P{X−n ​σ​z2α​​<μ<X+n ​σ​z2α​​}=1−α

(2)${\sigma }^2$未知， P { X ‾ − S n t α 2 ( n − 1 ) < μ < X ‾ + S n t α 2 ( n − 1 ) } = 1 − α P\{\overline{X}-{S\over \sqrt{n}}t_{\alpha\over 2}(n-1)<\mu<\overline{X}+{S\over \sqrt{n}}t_{\alpha\over 2}(n-1)\}=1-\alpha P{X−n ​S​t2α​​(n−1)<μ<X+n ​S​t2α​​(n−1)}=1−α

方差${\sigma }^2$：

P { ( n − 1 ) ) S 2 χ α 2 2 ( n − 1 ) < σ 2 < ( n − 1 ) ) S 2 χ 1 − α 2 2 ( n − 1 ) } = 1 − α P\{{(n-1))S^2\over \chi_{\alpha\over 2}^2(n-1)}<\sigma^2<{(n-1))S^2\over \chi_{1-{\alpha\over 2}}^2(n-1)}\}=1-\alpha P{χ2α​2​(n−1)(n−1))S2​<σ2<χ1−2α​2​(n−1)(n−1))S2​}=1−α