概率与期望

概率

概率公理:
满足下列3个条件的函数称为概率函数
(1)$0 <= P(A) <= 1$
(2)$P(S) = 1$
(3)如果$A_1A_2A_3\cdots$是一系列两两无关的事件，即对于$\forall i \not= j,A_i \bigcap A_j = \emptyset$,则

$$P\left( \bigcup_{k=1}^{\infty}A_k\right) = \sum_{k=1}^{\infty}P(A_k)$$
(可列可加性)

条件概率：
令B为一个事件满足$P(A)>0$,对于任一事件B,定义B的关于A的条件概率(事件A发生条件下，事件B发生的概率)

$$P(B|A) = \frac {P(A\bigcap B)}{P(A)}$$

独立：
如果A,B满足$P(A \bigcap B) = P(A)P(B)$,称A,B独立
可以推出$P(A) = P(A|B)$

全概率公式：<求结果概率>
设$B_1B_2B_3\cdots B_n$是样本空间S中互不相交的一系列事件，并且满足和为全集，即$S = \bigcup_{k=1}^n B_k$,且$P(B_i)>0$,则对任意事件A有

$$P(A) = \sum _{k = 1}^n P(A|B_k)P(B_k)$$ 特别的，对于任意两随机事件A和B，有 $$P(B) = P(B|A)P(A) + P(B | \overline A)P(\overline A)$$

贝叶斯定理：<求原因概率>

$$P(B_i|A) = \frac {P(B_i)P(A|B_i)}{\sum_{j=1}^n P(B_j)P(A|B_j)}$$
$P(B_i)$叫先验概率， $P(B_i|A)$叫后验概率

发生概率为 0 的事件不一定为不可能事件。

离散型随机变量

期望：
$E(X) = \sum_{i = 1}^n X_ip_i$

方差：
$D(X) = E(X - E(X))^2 = E(X^2) - (EX)^2$

标准差：
$\sigma_x = \sqrt {D(X)}$

伯努利概型:(满足二项分布)
(1)在一组固定不变的条件下重复地做一种实验
(2)只有两种结果：事件发生或不发生
(3)每次实验中，相同事件发生的概率均一样
(4)各次实验结果相互独立
设 p 为每次实验 A 发生的概率，$P_n(k)$表示n重伯努利实验中 A 出现 k (0 <= k <= n)的概率，则$P_n(k) = C_n^kp^k(1-p)^{n-k}$

二项分布：
在上述条件下，设 X 为 n 次独立重复实验中成功出现的次数，X = (0,1,…n)，且它的概率函数为

$$P(X = x) = {n \choose x}p^x(1-p)^{n-x}$$
这个分布称为二项分布，记为X~B(n,p)
期望: $E(X) = np$
方差: $D(X) = np(1-p)$
标准差: $\sigma = \sqrt {np(1-p)}$

两点分布：
特殊的二项分布,n = 1

$$P(X = 0) = 1-p \ , \ P(X = 1) = p$$
p称为成功概率
期望: $E(X) = p$
方差: $D(X) = p(1-p)$

几何分布：
事件 A 在第 k 次试验中才首次发生的概率为$p(1-p)^{k-1}$
有方程：

$$E(X) = p + (1 - p)(E(X) + 1)$$
期望: $E(X) = \frac 1p$
方差: $D(X) = \frac {1-p}{p^2}$

超几何分布：
在有M件次品的N件产品中，不放回的取出n件，其中含有X件次品

$$P(X = k) = \frac {C_M^kC_{N-M}^{n-k}}{C_N^n}$$
记作X~H(n,M,N)
期望: $E(X) = \frac {nM}N$
方差: $D(X) = \frac {nM}N - (\frac {nM}N)^2 + \frac {n(n-1)M(M-1)}{N(N-1)}$

正态分布：

$$f(x) = \frac 1{\sqrt {2\pi}\sigma}e^{-\frac {(x-\mu)^2}{2\sigma^2}}$$
f(x)称为正态分布密度曲线
记作X~N( $\mu$, $\sigma^2$)
期望: $\mu$
方差: $\sigma^2$
$P(\mu - \sigma < X <= \mu + \sigma) = 0.6826$
$P(\mu - 2\sigma <X <= \mu + 2\sigma) = 0.9544$
$P(\mu - 3\sigma <X <= \mu + 3\sigma) = 0.9974$

期望的线性性：
(1) $E(c) = c$
(2) $E(cX) = cE(X)$
(3) $E\left(\sum_{i=1}^n x_i\right) = \sum_{i=1}^n E(x_i)$
(4) $E(XY) = E(X)E(Y)$ (充分条件：X、Y独立，充要条件：X、Y不相关)

方差的性质：
(1) $D(c) = 0$
(2) $D(aX + b) = a^2D(X)$
(3) $D(X) = E(X^2) - E^2(X)$
(4) $D(X\pm Y) = D(X) + D(Y)$ (充分条件：X、Y独立，充要条件：X、Y不相关)

马尔科夫不等式：
假设X是只取非负数值的随机变量，对$\forall a > 0$,有

$$P(X >= a) <= \frac {E(X)}a$$

切比雪夫不等式：
对任意随机变量X及任意a > 0,有

$$P(|X - E(X)| >= a) <= \frac {D(X)}{a^2}$$

统计

三种随机抽样方法：简单抽样(不放回)、系统抽样(等距抽样，多的剔除)、分层抽样

茎叶图

频率分布直方图
众数：出现次数最多的数(可能是多个)//最高矩形底边中点的横坐标
中位数：最中间的一个数（最中间两个数的平均数）//中位数左右直方图面积相等
平均数：小矩形的面积乘以小矩形底边中点的横坐标之和
极差：又称全距，极差 = 组数 * 组距

独立性检验

最小二乘法：
回归直线方程：$\widehat y = \widehat bx + \widehat a$
其中 $\widehat b = \frac {\sum_{i = 1}^n(x_i - \overline{x})(y_i - \overline{y})}{\sum_{i = 1}^n (x_i - \bar {x})^2} = \frac {\sum_{i = 1}^n x_iy_i - n\bar x\bar y}{\sum_{i = 1}^n x_i^2 - n\bar x^2}$，$\widehat a = \bar y - \widehat b \bar x$
回归直线方程一定经过样本点的中心($\overline {x}$,$\overline {y}$)
有些取对etc.可以变成线性的。。。
线性相关系数 $r = {\sum_{i = 1}^n (x_i - \bar x)(y_i - \bar y) \over \sqrt {\sum_{i = 1}^n (x_i - \bar x)^2\sum_{i = 1}^n (y_i - \bar y)^2}}$
$|r| >= 0.75 \rightarrow$ 强相关
r > 0 正相关
r < 0 负相关
$y = bx + a + e$
x:解释变量，y:预报变量，e:残差
$R^2 = 1 - {\sum_{i = 1}^n (y_i - \widehat{y_i})^2/*残差平方和*/ \over \sum_{i = 1}^n (y_i - \bar y)^2}$ 越接近 1，回归效果越好