概率论与统计基础

1 随机事件及概率

随机事件之间的关系：包含，两两互斥，对立，等价，和（A，B至少一个发生，记作A∪B或A+B），差（A发生且B不发生，记作A-B），积（A，B同时发生，记作A∩B或AB）。

随机时间运算法则，交换律，结合律，分配律，德摩根律（A或B的非等于非A并非B，A并B的非等于非A或非B），减法律。

概率公理化定义：

1. 对每个事件A，均有0≤P(A)≤1
2. P(Ω)=1
3. 若事件A1，A2，…两两互斥，均有P(A1∪A2∪…)=P(A1)+P(A2)+…

则称P(A)为事件A的概率。

性质

古典概型：P(A)=m/n

几何概型：P(A)=Sa/S

条件概率：P(A|B)=P(AB)/P(B)，表示事件B发生的情况下A发生的概率

全概率公式：Bi是样本空间的一个划分，则P(A)=∑P(Bi)*P(A|Bi)。

Bayes(贝叶斯)公式：P(Bi|A)=P(BiA)/P(A)=P(Bi)P(A|Bi)/(∑P(Bj)P(A|Bj)),式中P(Bi)为先验概率，P(Bi|A)为后验概率。P(Bi|A)反映当试验产生结果A之后，在对各种‘原因’（Bi）概率的新认识。

独立事件

P(AB)=P(A)*P(B)，称事件A和B是相互独立的。

2 随机变量及其分布

分布函数=∫概率密度（连续），∑分布率（离散）。

常见的离散型分布

两点分布 X~B(1,p)

P{X=k}=p^k*(1-p)^(1-k)

二项分布（Bernoulli）

Poisson分布 X~P(λ)

P{X=k}=λ^k*exp(-λ)/k!

Poisson定理，当n很大且p很小，Bernoulli分布可用Poisson分布来近似

常见的连续型分布

均匀分布 X~U(a,b)

f(x)=1/(b-a) if(a<=x<=b)

F(x)=(x-a)/(b-a) if(a<=x<=b)

指数分布

f(x)=λexp(-λx) if(x>=0)

F(x)=1-exp(-λx) if(x>=0)

正态分布

X~N(μ,σ)

二维随机变量

3 随机变量的数字特征

数学期望

E(X)=∑xipi,E(X)=∫xf(x)dx

方差

var(X)=E((X-E(X))^2)

标准差

std(X)=sqrt(var(X))

常见分布的期望与方差

B(1,p):(p,p(1-p));B(n,p):(np,np(1-p));P(λ):(λ,λ);U(a,b):((a+b)/2,(b-a)^2/12 );N(μ,σ²):(μ,σ²)

矩、协方差、相关系数

4 大数定律，极限定理

5 统计基础

总体、样本，参数、统计量、抽样分布。

常用统计量：样本均值，样本方差，k阶中心矩，k阶原点矩。

常用分布：χ²分布，t分布，F分布。

正态总体样本均值与样本方差的分布。

6 统计检验

7 参数估计

点估计：用一个统计量估计参数，不能反映估计的可信度。

矩法:样本矩估计总体矩。

极大似然估计：L(θ;x)=∏f(xi,θ),一般对其取对数似然估计方程进行求解。

无偏性，有效性，一致性。

区间估计：用两个统计量构成的区间来估计一个未知参数，不能知道具体参数为多少。

P(/θ1(X1,X2,...)<θ</θ2(X1,X2,...))=1-α

8 假设检验

小概率事件在一次观测中可以认为基本上是不可能发生的。