machine-learning：数学：概率论

1. 概率论基础

1.1 概率论

$$P(X)\in[0,1]$$

1.2 条件概率

• 条件概率：

  $$P(A|B)=\frac{P(AB)}{P(B)}$$

• 全概率：

  $$P(A)=\sum\limits_iP(A|B_i)P(B_i)$$

• 贝叶斯：

  $$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum\limits_iP(A|B_i)P(B_j)}$$

---

2. 古典概率

• 基本公式：

$$P(A)=\frac{A包含的基本事件数}{S中基本事件的总数}$$

• 排列

$$P^n_r = n(n-1)(n-2)...(n-r+1)$$

• 组合

$$C^n_r = \frac{P^n_r}{r!}=\frac{n!}{r!(n-r)!}$$

• 装箱

n个相异物品分为k堆，各堆的物件数是

$$r_1,r_2,...,r_k$$ 的分法是

$$\frac{n!}{r_1!...r_k!}$$

n个物品分为2组，第一组m个，第二组n-m个，则分组的方法

$$\frac{n!}{m!(n-m)!}$$

即：

$$C_n^m$$

2.1 典型古典概率

• 将n个不同的球放入N（N>=n）个盒子里，假设盒子的容量无限，求A={每个盒子至多有一个球的概率}

解：

1. 基本事件总数

   • 第1个球：N种方法

   • 第2个球：N种方法

   ……

   总：$N^n$种方法

2. 每个盒子至少放1个球的事件数：

   • 第1个球：N种

   • 第2个球：N-1种
     ……
     总：$N(N-1)...(N-n+1)=P^n_N$

$$P(A)=\frac{P^n_N}{N^n}$$

• 装箱问题：将12件正品和3件次品随机装在3个箱子中，每箱装5件，则每箱中恰有1件次品的概率是多少？

解：

1. 将15件产品装入3个箱子，每个箱子5件，共：$15!/(5!5!5!)$

2. 将3件次品放入3个箱子，有3！种方法。对于这样的每一个装法，将其余12件产品装入3个箱子，每个箱子有4件，共：$12!/(4!4!4!)$

3. $P(A)=(3!*12!/(4!4!4!)/(15!/(5!5!5!)))$

---

2. 概率分布

---

• CDF：累计分布函数(cumulative disrtibution function)

• pdf: 概率密度(Probability Density Function)

---

2.1 离散分布

2.1.1 两点分布(0-1分布)

• x=1; p=p

• x=0; p=1-p=q

• $$E(X)=1*p+0*q=p$$

• $$D(X)=E(X^2)-[E(X)]^2=1^2*p+0^2(1-p)-p^2=pq$$

2.1.2 二项分布：（n,p）

• $P{X=k}=(^n_k)p^k(1-p)^{n-k}$ ……(k=0,1,2,…)

• $$E(x)=np$$

• $$D(x)=np(1-p)=npq$$

2.1.3 泊松分布： $\pi(\lambda)$

---

2.2 连续分布

---

2.2.1 均匀分布

• 设 $X-U(a,b)$ ,其概率密度是：

$$\begin{equation} f(x)=\left\{\begin{aligned}\frac{1}{b-a} ......x\in(a,b)\\0 ......其他\\\end{aligned}\right.\end{equation}$$

• $$E(X)=\int_{-\infty}^{+\infty} xf(x)dx=\int_a^b\frac{1}{b-a}xdx=\frac{1}{2}(a+b)$$

• $$D(X)=E(X^2)-[E(X)]^2=\frac{(b-a)^2}{12}$$

---

2.2.2 正态分布

• 设

  $$X-N(\mu,\sigma^2)$$

• 概率密度函数：

$$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

• $$E(X)=\mu$$

• $$D(X)=\sigma^2$$