贝叶斯公式与极大似然估计

条件概率

在事件 $A$ 发生的前提下，事件 $B$ 发生的概率就叫做条件概率，表示为：$P(B|A)$。那么如何去计算这个条件概率？其实一般说到条件概率的时候，事件 $A、B$ 是有交集的，也就是说事件 $A$ 和事件 $B$ 有可能同时发生，它们同时发生的概率表示为：$P(AB)$。有了这个就可以计算条件概率了：$$P(B|A)=\frac{P(AB)}{P(A)}$$由此式还能够推出概率的乘法公式：$$P(AB)=P(B|A)\ast P(A)=P(A|B)\ast P(B)$$将其推广至 $n$ 维可以得到：$$P(A_1{A}_2...A_n)=P(A_n|A_{n-1}...A_1)\ast P(A_{n-1}|A_{n-2}...A_1)\ast ...\ast P(A_2|A_1)\ast P(A_1)$$

---

全概率公式

如果在样本空间 $\Omega$ 中，存在事件组 $B_1,B_2,...B_n$ 满足：

• 对任意的 $i̸=j$，都有 $B_i\bigcap B_j̸=\varnothing$，也就是说事件组两两互斥；
• $B_1\bigcup B_2\bigcup ...\bigcup B_n=\Omega$；

则称事件组 $B_1,B_2,...B_n$ 是样本空间 $\Omega$ 的一个划分。假设 $A$ 为任意一个事件，则可以得到全概率公式：$$P(A)=\sum _{i=1}^{n}P(A{B}_i)=\sum _{i=1}^{n}P(A|B_i)\ast P(B_i)$$

---

贝叶斯公式

贝叶斯公式其实就是在条件概率的基础上，将分子变成乘法公式的形式，将分母变成全概率公式的形式：$$P(B_i|A)=\frac{P(AB)}{P(A)}=\frac{P(A|B_i)\ast P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)\ast P(B_j)}$$其中：

1. $P(A|B_i)$ 叫做类条件概率，表示在某种类别（$B_i$）的前提下某事（$A$）发生的概率。
2. $P(B_i)$ 就是先验概率，表示一个划分里面每种类别分布的概率，可以将 $B_i$ 看做是导致实验结果的原因，$P(B_i)$ 则给出了各种“原因”发生的可能性大小。
3. 最终求解的是后验概率 $P(B_i|A)$，表示已知某事（$A$）发生了，那么它属于某类原因（$B_i$）的概率；后验概率越大，表明事件属于这个类别的可能性越大，就越有理由将它归入到这个类别下，它有助于探讨事件发生的“原因”，反映了试验之后对“原因”发生的可能性大小的新知识。

例题：
已知，在夏季某公园男性穿凉鞋的概率为 $\frac{1}{2}$，女性穿凉鞋的概率为 $\frac{2}{3}$，并且该公园中男女比例通常为 $2:1$。
问题：若在公园中随机遇到一个穿凉鞋的人，请问 $Ta$ 的性别为男性或女性的概率分别为多少？

典型的计算后验概率：某事件发生了，它属于某一类别的概率为多少？假设：男性=$B_1$，女性=$B_2$，穿凉鞋=$A$，那么有：$$类条件概率:P(A|B_1)=\frac{1}{2}，P(A|B_2)=\frac{2}{3}$$$$先验概率:P(B_1)=\frac{2}{3}，P(B_2)=\frac{1}{3}$$根据以上信息计算穿凉鞋的概率，因为性别 $B_1、B_2$ 是互斥的，可以构成样本空间上的一个划分，所以：$$P(A)=P(A|B_1)\ast P(B_1)+P(A|B_2)\ast P(B_2)=\frac{5}{9}$$因此穿凉鞋且为男、女性的后验概率分别为：$$P(B_1|A)=\frac{P(A|B_1)\ast P(B_1)}{P(A)}=\frac{3}{5}$$$$P(B_2|A)=\frac{P(A|B_2)\ast P(B_2)}{P(A)}=\frac{2}{5}$$

---

极大似然估计

先验概率一般通过训练样本中各类出现的频率来计算；类条件概率的计算比较困难，一般的解决方法是参数估计，极大似然估计就是其中一种。具体来说，就是先选取一个概率密度函数模型，然后输入大量的样本，不断调整参数使得样本出现的概率最大。所以，极大似然估计是一种可以用来计算类条件概率的方法，当然它的作用绝不仅仅局限于计算类条件概率，很多参数估计问题都能用到。
假设有一系列的数据满足一定的分布（比如正态分布、均匀分布等），你事先是不知道它服从哪种分布的，现在要你给出一个模型来准确描述这个分布。所以最开始你需要选择一个合适的函数模型（双曲线$or$三角函数$or...$），把这个称为似然函数，表示为$$f(x_1,x_2,...x_n|\theta )$$$\theta$表示模型中的参数，$x_i$ 表示样本数据。现在就需要通过已知的数据去确定参数 $\theta$，让函数取得最大值。那么如何去确定呢？极大似然估计采取的做法是：

1. 先对似然函数取对数 $ln$，然后整理形式；
2. 求导数，让导数为0，得到似然方程（组）；
3. 求解似然方程（组）

例题：
设样本服从正态分布，$X-N(\mu ,{\sigma }^2)$，似然函数为：$$L(\mu ,{\sigma }^2)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}=(2\pi {\sigma }^2{)}^{-\frac{n}{2}}{e}^{-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n(x_i-\mu {)}^2}$$求 $\mu 、{\sigma }^2$ 的极大似然估计。

首先对似然函数取对数，$$lnL(\mu ,{\sigma }^2)=-\frac{n}{2}\ast ln(2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2$$然后求偏导，得到方程组，$$\{\begin{array}{l}\frac{\partial lnL(\mu ,{\sigma }^2)}{\mu }=\frac{1}{{\sigma }^2}{\sum }_{i=1}^n(x_i-\mu )=0\\ \frac{\partial lnL(\mu ,{\sigma }^2)}{{\sigma }^2}=-\frac{n}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}{\sum }_{i=1}^n(x_i-\mu {)}^2=0\end{array}$$求解方程组得到，$$\{\begin{array}{l}{\mu }^{\ast }=\frac{1}{n}{\sum }_{i=1}^n{x}_i\\ {\sigma }^{\ast 2}=\frac{1}{n}{\sum }_{i=1}^n(x_i-{\mu }^{\ast }{)}^2\end{array}$$最后得到的 ${\mu }^{\ast }、{\sigma }^{\ast 2}$ 就是参数 $\mu 、{\sigma }^2$ 的极大似然估计。实际上这里省略了关键一步——模型的选择，我们这里由题目直接给出，而在实际应用中往往不是那么轻易能够确定数据分布的模型函数的，只能依靠经验去选择比较合适的那个。确定了参数之后，我们就可以用上面数学模型较为准确地描述该数据的分布了。