概率论-个人向使用

记录一些基本的公式和概念,不能作为学习概率论的教程。

供个人使用

使用教材:概率论与数理统计教材【西安交通大学出版】

参考链接:Statistics-note/概率论与数理统计笔记

第一章

1.1 随机事件

必然事件( \Omega):在试验中⼀定会发⽣的事件。

不可能事件( \phi):在试验中不可能发⽣的事件。

概率为0不一定为不可能事件。

事件的运算

  1. 子事件
  2. 事件的和、差、积
  3. 对立事件
  4. De Morgan対偶法则

1.2 概率

古典概率计算

高中学习的排列组合....

1.3 各种概念&公式

条件概率

P(A|B)=\frac{P(AB)}{P(B)}

P(A_1 A_2 ...A_n)=P(A_1)P(A_2|A_1)...P(A_n|A_1...A_{n-1})

全概率

P(A)=\sum_{i=1}^{n}P(A|B_i)P(B_i)

Bayes公式

P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}

1.4 事件的独⽴性

P(\widetilde{A}_1\widetilde{A}_2...\widetilde{A}_n)=P(\widetilde{A}_1)...P(\widetilde{A}_n)

第二章

2.1 一维随机变量

离散型

二项分布
P(X=k)=\binom{n}{k}p^k(1-p)^{n-k},\quad k=0,1,...,n
泊松分布

P(X=i)=\frac{\lambda^i}{i!}e^{-\lambda},\quad i=0,1,2,...,\quad\lambda>0

二项分布当n足够大的时候,可以近似为泊松分布,\lambda = np

超几何分布

P(X=k)=\frac{\binom{k}{M}\binom{m-k}{N-M}}{\binom{n}{N}}

连续型

正态分布

f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},\quad -\infty<x<+\infty

指数分布

f(x)= \begin{cases} \lambda e^{-\lambda x}& x>0 \\ 0& x\leq 0 \end{cases} =\lambda e^{-\lambda x}I_{(0,\infty)}(x)

指数分布具有无记忆性的特点

均匀分布

f(x)= \begin{cases} \frac{1}{b-a}& a\leq x\leq b \\ 0& else \end{cases} =\frac{1}{b-a}I_{(a,b)}(x)

2.2 二维随机变量

联合分布律,边缘分布率...

二维正态分布,二维均匀分布

2.3 条件变量

离散型变量

P(X=x_i|Y=y_j)=\frac{P(X=x_i,Y=y_j)}{P(Y=y_j)}=\frac{p_{ij}}{p_{\cdot j}},\quad i=1,2,...

P(Y=y_i|X=x_j)=\frac{P(X=x_i,Y=y_j)}{P(X=x_j)}=\frac{p_{ij}}{p_{i\cdot}},\quad j=1,2,...

连续型变量

f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}, \quad f_Y(y)>0.\\

f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}, \quad f_X(x)>0.\\

2.4 随机变量的相互独立性

2.5 随机变量函数的概率分布

离散型变量

P(Y=y_j)=P(g(X)=y_j)=\sum_{x_i:g(x_i)=y_j}P(X=x_i)=\sum_{i:g(x_i)=y_j}p_i

连续型变量

1个变量的情况:

l(y)=f(h(y))|h'(y)|.

多个变量的情况:

Y_1=g_1(X_1,X_2),\quad Y_2=g_2(X_1,X_2),

X_1=h_1(Y_1,Y_2),\quad X_2=h_2(Y_1,Y_2)

J(y_1,y_2)=\begin{vmatrix} \partial h_1/\partial y_1&\partial h_1/\partial y_2 \\ \partial h_2/\partial y_1&\partial h_2/ \partial y_2 \end{vmatrix}

P((Y_1,Y_2)\in A)=P((X_1,X_2)\in B)=\iint_Bf(x_1,x_2)dx_1dx_2\\ P((Y_1,Y_2)\in A)=\iint_Af(h_1(y_1,y_2),h_2(y_1,y_2))|J(y_1,y_2)|dy_1dy_2


1.随机变量和的密度函数 Y=X1+X2

l(y)=\int_{-\infty}^\infty f(x_1,y-x_1)dx_1=\int_{-\infty}^\infty f(x,y-x)dx

2.随机变量商的密度函数 Y=X2/X1

l(y)=\int_{0}^\infty x_1f(x_1,x_1y)dx_1

3.max{X1,X2,...} 和 min{X1,X2,X3} 的分布

第四章

4.1 数学期望

离散型数学期望:E(X)=\sum^\infty_{i=1}a_ip_i

连续型数学期望:E(X)=\int_{-\infty}^\infty xf(x)dx

数学期望的性质:

1.线性性质(不写了

2.若干个独立随机变量之积的期望等于各变量的期望之积,即E(X_1X_2...X_n)=E(X_1)E(X_2)...E(X_n)

4.2 方差

Var(X)=E(X-EX)^2=E(X^2)-E(X)^2

方差的性质:

4.3 协方差,相关系数和矩

协方差

Cov(X,Y) = E\{[X-E(X)][Y-E(Y)]\}=E(XY)-E(X)E(Y)

相关系数

相关系数p的定义式为\frac{Cov(X,Y)}{\sqrt{(\sigma_1\sigma_2)}}

当p=0时,则称X,Y不相关

原点矩

a_k=E(X^k)

中心矩

\mu_k=E[(X-EX)^k]

3.4 协方差矩阵

第五章

5.1 大数定理

X_1,X_2,...,X_n,...是独立同分布的随机变量,记它们的公共均值为a.又设它们的方差存在并记为\sigma^2.则对任意给定的\varepsilon>0,有lim_{n\rightarrow\infty}P(|\bar{X}n-a|\geq \varepsilon )=0

5.2 中心极限定理

核心公式如下:

lim_{n\rightarrow \infty}P(\frac{1}{\sqrt{np(1-p)}}(X_1+...+X_n-np)\leq x)=\Phi(x)

第六章

6.1 总体和样本

在一个统计问题里,研究对象的全体叫做总体,构成总体的每个成员称为个体。根据个体的数量指标数量,定义总体的维度,如每个个体只有一个数量指标,总体就是一维的,同理,个体有两个数量指标,总体就是二维的。总体就是一个分布,数量指标就是服从这个分布的随机变量。

假设个变量是相互独立的,则有如下公式:

F(x_1,x_2,...,x_n)=\prod^n_{i=1}F(x_i),\\ f(x_1,x_2,...,x_n)=\prod^n_{i=1}f(x_i),\\ p(x_1,x_2,...,x_n)=\prod^n_{i=1}p(x_i)

6.2 常用的统计量

有如下常用统计量

样本均值

样本方差:

s^2=\frac{1}{n-1}\sum(x_i-\bar{x})^2=\frac{1}{n-1}[\sum x_i^2-\frac{(\sum x_i)^2}{n}]=\frac{1}{n-1}(\sum x_i^2-n\bar{x}^2)

k阶原点矩

k阶中心距

p位数:

m_{p}=\left\{\begin{matrix} x_{[np+1]} & np\ is \ int\\ \frac{1}{2}(x_{(np)} + x_{(np+1)}) & np \ is \ not \ int \end{matrix}\right.

次序统计量

  • x_{(1)}=min{x_1,...,x_n}称为该样本的最小次序统计量

  • x_{(n)}=max{x_1,...,x_n}称为该样本的最大次序统计量

常见性质

如果总体X的方差和均值均存在,则有如下性质:

  1. E(\bar{X})=\mu
  2. D(\bar{X})=\frac{\sigma^2}{n}
  3. E(S^2)=\sigma^2

6.3 几大分布(重点公式)

\Gamma函数

\Gamma(x)=\int_0^\infty e^{-t}t^{x-1}dt\quad (x>0)

卡方分布

k_n(x)=\frac{1}{\Gamma(\frac{n}{2}2^{n/2})}e^{-x/2}x^{(n-2)/2}I_{(0,\infty)}(x)

性质(记住)

T分布

t_n(y)=\frac{\Gamma((n+1)/2)}{\sqrt{n\pi}\Gamma(n/2)}(1+\frac{y^2}{n})^{(\frac{n+1}{2})}

性质(记住)

F分布

f_{mn}(y)=m^{m/2}n^{n/2}\frac{\Gamma(\frac{m+n}{2})}{\Gamma(\frac{m}{2})\Gamma(\frac{n}{2})}y^{m/2-1}(my+n)^{-(m+n)/2}\quad (y>0)

性质(记住)

$X_1,X_2$独立,$X_1\sim\chi_n^2,X_2\sim\chi_m^2$,而$Y=m^{-1}X_2/(n^{-1}X_1)$,则$Y\sim F_{mn}$

其他重要性质

1.设$X_1,...,X_n$独立同分布,有公共的正态分布$N(\mu,\sigma^2)$.记$\bar{X}=(X_1+...+X_n),S^2=\sum{i=1}^{n}(X_i-\bar(X))^2/(n-1)$.则$(n-1)S^2/\sigma^2=\sum{i=1}^{n}(X_i-\bar{X})^2/\sigma^2\sim\chi_{n-1}^{2}$

2.设$X_1,...,X_n$的假定同1,则$\sqrt{n}(\bar{X}-\mu)/S\sim t_{n-1}$

3.设$X_1,...,X_n,Y_1,...,Y_m$独立,$X_i$各有分布$N(\mu1,\sigma_1^2),Y_j$各有分布$N(\mu_2,\sigma_2^2)$,则


[\sum_{j=1}^m(Y_j-\bar{Y})^2/(\sigma_2^2(m-1))]/[\sum_{i=1}^n(X_i-\bar{X})^2/(\sigma_1^2(n-1))]\sim F_{m-1,n-1}

$\sigma_1^2=\sigma_2^2$,则

\sqrt{\frac{nm(n+m-2)}{n+m}}[(\bar{X}-\bar{Y})-(\mu_1-\mu_2)]/[\sum_{i=1}^{n}(X_i-\bar{X})^2+\sum_{j=1}^m(Y_j-\bar{Y})^2]^{1/2}\sim t_{n+m-2}

第七章

7.1 点估计

矩估计

核心思想就是找到各个参数和中心距或者原点矩的关系,用样本矩代替总体矩(可以是原点矩也可以是中心矩);计算出参数。

\hat{\theta_j}=\theta_j(a_1,...,a_k),\quad j=1,...,k

最大似然估计

核心公式如下:

L(\theta)=L(\theta;x_1,...,x_n)=p(x_1;\theta)p(x_2;\theta)...p(x_n;\theta)

最大似然估计步骤:

  • 写出似然函数;

  • 对似然函数取对数,并整理;

  • 求参数向量的偏导,令其为0,得到似然方程;

  • 求解似然方程,其解为参数值。

7.2 估计量的评选标准

无偏性

E_{\theta}(\hat{\theta})=\theta

还有渐进无偏性

有效性

对于两个估计参数的选取需要基于一个度量无偏估计优劣的准则。有效性作为这样的准则,反映了参数估计值和参数真值的波动,波动大小可用方差来衡量,波动越小表示参数的估计越有效。

Var(\hat{\theta}_1)\leq Var(\hat{\theta}_2)

可以看到前者方差小,有效性好。

相合性

1.相合估计量或一致估计量

\lim_{n\rightarrow\infty}P(|\hat{\theta}_n-\theta|\geq\epsilon)=0

2.均方相合估计量

\lim_{n\rightarrow\infty}E(|\hat{\theta}_n-\theta|^2)=0

7.3 区间估计

双侧/单侧区间

常见查表

第八章

8.1 假设检验的基本概念

在统计上这两个⾮空不相交参数集合称作统计假设,简称假设。通过样本对⼀个假设作 出对与不对的判断,则称为该假设的⼀个检验。若检验结果否定该命题,则称拒绝这个假设,否则 就接受(不拒绝)这个假设。 假设可分为两种:

1. 参数假设检验,即已经知道数据的分布,针对总体的某个参数进⾏假设检验;

2. ⾮参数假设检验,即数据分布未知,针对该分布进⾏假设检验。 

建⽴假设—>选择检验统计量,给出拒绝域形式—>选择显著性⽔平—>给出拒绝域—>做出判断

8.2 参数的假设检验

8.3 分布的假设检验

  • 3
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值