【深度学习】【机器学习】【朴素贝叶斯】

贝叶斯定理

条件概率，即在B的条件下A发生的概率：
$$P(A|B)=\frac{P(AB)}{P(B)}$$
贝叶斯定理：
$$P(B|A)=\frac{P(A|B)P(B)}{P(A)}$$
在生活中，我们可能会更关心P(B|A)而不是P(A|B)，就比如说你在意的是这个男的或者女的是不是很有钱，而不是这个有钱的是男的还是女的。

朴素贝叶斯

思想基础：对于给定的待分类项，求解在此项出现的条件下各个类别出现的概率，那么该项就属于值最大的那一类。

解决步骤：

1. 设 X i = { x 1 i , x 2 i , . . . , x k i } X^i=\{x_1^i,x_2^i,...,x_k^i\} Xi={x1i​,x2i​,...,xki​}表示第$i$个样本，其中$k$为一个样本的特征数。 C = { c 1 , c 2 , . . . , c n } C=\{c_1,c_2,...,c_n\} C={c1​,c2​,...,cn​}表示类别集合。
2. 统计得到各类别的先验概率$P(c_1),P(c_2),...,P(c_n)$
3. 统计得到在各类别下各个特征属性的条件概率估计$P(x_1|c_1)$，$P(x_2|c_1)$,…,$P(x_k|c_1)$；$P(x_1|c_2)$ ，$P(x_2|c_2)$,…,$P(x_k|c_2)$；$P(x_1|c_n)$，$P(x_2|c_n)$,…,$P(x_k|c_n)$；
4. 对于一个新样本，如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导：$P(c_i|X)=\frac{P(X|c_i)P(c_i)}{P(X)}$，然而分母对于所有类别为常数，所以只考虑分母即可。因为各特征属性是条件独立的，所以有：
   $$P(X|c_i)P(c_i)=P(x_1|c_i)P(x_2|c_i)...P(x_k|c_i)P(c_i)$$
5. 最后所分的类别为 m a x { P ( c i ∣ X ) , i = 1 , 2 , . . . , n } max\{P(c_i|X),i=1,2,...,n\} max{P(ci​∣X),i=1,2,...,n}

限制性：对于文本分类问题，词语和词语之间是有联系的，而朴素贝叶斯将这种关系分开了，比如说“强化”和“学习”两个词如果分开看可能表示某种鸡汤书，但是合起来属于AI的概率就变大了。