本科欠下的债 该！--概率论

概率预备知识

先验概率：统计概率，观测值
后验概率：条件概率，有特殊原因下的结果的概率
后验概率$P(y|x)$=先验概率$P(y)$ * 极大似然估计$P(x|y)$

条件概率：满足A条件下，B发生的概率为$P(B|A)=\frac{P(AB)}{P(A)}$，其中$P(AB)$为满足A且满足B的概率。

• 期望：
  (1)$X$为离散型随机变量，分布律为 P { X = x k } = p x , k = 1 , 2... P\{X=x_k\}=p_x,k=1,2... P{X=xk​}=px​,k=1,2...，如果${\sum }_{k=1}^{\infty }{x}_k{p}_k$绝对收敛，则称它为$X$的数学期望或者均值，记作$E(X)$，即$E(X)={\sum }_{k=1}^{\infty }{x}_k{p}_k$,若其发散，则期望不存在
  (2)$X$为连续型随机变量，其密度函数为$f(x)$，如果${\int }_{-\infty }^{\infty }|x|f(x)dx$有限，则$X$的数学期望为$E(X)={\int }_{-\infty }^{\infty }xf(x)dx$，如果无限，则期望不存在。
  – 如果$X、Y$独立，则$E(XY)=E(X)E(Y)$

• 方差：$D(X)=E[X-E(X){]}^2$
  标准差（均方差）：$\sigma (X)$，为$D(X)$的算术平方根，

• 全概率公式：分解为小事件，算小事件的概率和
  $A_1,A_2,...,A_n$是一个完备事件组，且$P(A_i)\ne 0，则\forall B\subset \Omega ，有P(B)={\sum }_{i=1}^{n}P(B|A_i)P(A_i)$

• 贝叶斯公式：全概率下的条件概率，两个事件共同发生的概率有两种通过条件概率的求法
  $P(A|B)=\frac{P(B|A)P(A)}{P(B)}$

• 贝努利试验：实验结果非二分类，试验$E$间独立，进行n次独立试验称作n重贝努利实验，记作$E^n$，如射击中靶
  若事件A是试验$E$的事件，且$P(A)=p$，独立重复进行n次$E$，则A恰好发生k次的概率为$P(A^k)=C_n^k{p}^k(1-p{)}^{n-k}$

• 离散随机变量概率分布： X 的 取 值 范 围 为 R X = { x 1 , x 2 , . . . , x n } X的取值范围为R_X=\{x_1,x_2,...,x_n \} X的取值范围为RX​={x1​,x2​,...,xn​}，
  其分布列为

$X$	$x_1$	$x_2$	…	$x_n$
$P$	$p_1$	$p_2$	…	$p_n$

分布律为 P { X = x i } = p i ， i = 1 , 2 , . . . , n P\{ X=x_i\}=p_i，i=1,2,...,n P{X=xi​}=pi​，i=1,2,...,n

• 常见离散分布
  （1）0-1分布，记作$B(1,p),0<p<1$,如一次射击，中的概率p为0.3，记作$B(1,0.3)$
  期望$E(X)=p$
  方差$D(X)=p(1-p)$
  （2）几何分布，记作$G(p),0<p<1$，如一个人射击单次命中概率为p，随机变量$X$为第一次命中的次数，则记作$X\sim G(p)$
  期望$E(X)=\frac{1}{p}$
  （3）泊松分布，记作 $P(\lambda ),\lambda >0$,成为参数为$\lambda$的泊松分布。 P { x = k } = e − k λ k k ! , k = 0 , 1 , 2... P\{ x=k\}={e^{-k}\lambda^k\over{k!}},k=0,1,2... P{x=k}=k!e−kλk​,k=0,1,2...
  期望$E(X)=\lambda$
  方差：$D(X)=\lambda$
  （4）二项分布，记作$B(n,p),n\in N,0<p<1$，称为参数为$n,p$的二项分布。
  如一个人射击了$n$次，单次命中概率为$p$，其命中$k$次为随机变量，则有$X\sim B(n,p)$,则其命中$k$次的概率为 P { x = k } = C n k P k ( 1 − p ) n − k , k = 0 , 1 , 2... n P\{x=k\}=C^k_nP^k(1-p)^{n-k},k=0,1,2...n P{x=k}=Cnk​Pk(1−p)n−k,k=0,1,2...n
  期望$E(X)=np$
  方差$D(X)=np(1-p)$

• 随机变量的分布函数
  $X$为随机变量，函数 F ( x ) = P { X ≤ x } ; x ∈ R F(x)=P\{ X \leq x\};x\in R F(x)=P{X≤x};x∈R,称为$X$的分布函数，记作$F_X(x)$

• 离散随机变量的分布列与分布函数
  若离散随机变量$X$的概率分布为 P { X = x i } = p i , i = 1 , 2 , . . . , n P\{X=x_i\}=p_i,i=1,2,...,n P{X=xi​}=pi​,i=1,2,...,n,设$x_1<x_2<...<x_n$,则随机变量$X$的分布函数为
  F ( x ) = { 0 x < x 1 . . . p 1 + p 2 + . . . + p k x k ≤ x < x k + 1 . . . 1 x ≥ x n F(x)=\left\{ \begin{aligned} 0 & &{x<x_1} \\ ... &&{} \\ p_1+p_2+...+p_k & & {x_k\leq x<x_{k+1}}\\ ... && {}\\ 1 && {x \geq x_n} \end{aligned} \right. F(x)=⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧​0...p1​+p2​+...+pk​...1​​x<x1​xk​≤x<xk+1​x≥xn​​

• 连续型随机变量及其密度
  $X$为随机变量，若存在函数$f(x)$,有$\forall x\in R,f(x)\ge 0$,并使得$X$的分布函数满足 F X ( x ) = P { X ≤ x } = ∫ − ∞ x f ( t ) d t F_X(x)=P\{X \leq x\}=\int^x_{-\infty}f(t)dt FX​(x)=P{X≤x}=∫−∞x​f(t)dt，则称随机变量$X$为连续型随机变量，成函数$f(x)$为$X$的概率密度(分布密度)

• 常见连续分布
  （1）均匀分布（记作$U[a,b];a<b$称作[a,b]上的均匀分布）
  密度$f(x)=\{\begin{array}{ll}\frac{1}{b-a}& a\le x\le b\\ 0& \text{其他}\end{array}$，分布函数$f(x)=\{\begin{array}{ll}1& x\ge b\\ \frac{x-a}{b-a}& a\le x<b\\ 0& x<a\end{array}$
  期望$E(X)=\frac{a+b}{2}$
  方差$D(X)=\frac{(b-a{)}^2}{12}$
  （2）指数分布，记作$e(\lambda ),\lambda >0$，称作参数为$\lambda$的指数分布
  密度$f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x}& x\ge 0\\ 0& x<0\end{array}$，分布函数$f(x)=\{\begin{array}{ll}1-e^{-\lambda x}& x\ge 0\\ 0& x<0\end{array}$
  期望$E(X)=\lambda$
  方差$D(X)={\lambda }^2$
  （3）正态分布，记作$N(\mu ,{\sigma }^2),\mu \in R,\sigma >0$，称作参数为$\mu ,\sigma 的正态分布$
  密度：$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{-(x-\mu {)}^2}{2{\sigma }^2}}$，分布函数求不出
  期望$E(X)=\mu$
  方差$D(X)={\sigma }^2$

• 参数估计
  1）点估计法：
  （1）矩估计法
  （2）极大似然估计：有结果的条件下，求原因的概率
  2）区间估计
  极大似然估计：似然函数为产生该样本的概率，通过产生每个样本的概率乘积来算，让似然函数产生最大值的参数为所求。
  例：罐子中两种棋子比例为3:2，从罐子中取出4个棋子，观察结果为白、黑、白、白，请估计取到白子的概率p？
  设$X$为随机变量，即$X=\{\begin{array}{ll}1& 取到白子\\ 0& 取到黑子\end{array}$,则$X\sim B(1,p),p$为每次取到白子的概率，$=0.6或0.4$，重复四次试验，样本值为$x_1=1,x_2=0,x_3=1,x_4=1.$
  L ( θ ) = P { X 1 = x 1 , X 2 = x 2 , . . . X n = x n } = Π i = 1 n p ( x , θ ) L(\theta)=P\{X_1=x_1,X_2=x_2,...X_n=x_n\}=\Pi^n_{i=1}p(x,\theta) L(θ)=P{X1​=x1​,X2​=x2​,...Xn​=xn​}=Πi=1n​p(x,θ)为似然函数。
  ${\hat{\theta }}_x使得L$取最大值，则${\hat{\theta }}_x$为最大似然估计值，${\hat{\theta }}_X$为最大似然估计量。
  step1由总体分布导出样本的联合分布律或联合密度
  step2把样本联合分布律中的自变量看成一直常数，把参数看做自变量，得到似然函数$L(\theta )$
  step3求似然函数的最大值点，常常转化为求$lnL(\theta )$的最大值点，
  step4写出极大似然估计量