机器学习朴素贝叶斯法（持续更新中）

朴素贝叶斯（Naive Bayes）是基于贝叶斯定理与特征条件假设的分类方法。
属于监督学习的生产模型。
对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
朴素贝叶斯实现简单，学习与预测的效率都很高，是一种常用的方法

特征条件独立假设

这一部分开始朴素贝叶斯的理论推导，从中你会深刻地理解什么是特征条件独立假设。
给定训练数据集(X,Y)其中每个样本X都包括n维特征，即$x=\left(x_1,x_2,\cdots ,x_n\right)$，类标记集合合含有K种类别，即$x=\left(y_1,y_2,\cdots ,x_k\right)$
如果现在来了一个新样本x我们要怎么判断它的类别?从概率的角度来看，这个问题就是给定x，它属于哪个类别的概率更大。那么问题就转化为求解$P\left(y_1|x\right),P\left(y_2|x\right),P\left(y_k|x\right)$中最大的那个，即求后验概率最大的输出：$\arg {\max }_{y_k}P\left(y_k|x\right)$那$P\left(y_k|x\right)$怎么求解？答案就是贝叶斯定理：
$$P\left(y_k|x\right)=\frac{P\left(x|y_k\right)\cdot P\left(y_k\right)}{P(x)}$$
根据全概率公式，可以进一步分解上式中的分母：$$P\left(y_k|x\right)=\frac{P\left(x|y_k\right)\cdot P\left(y_k\right)}{{\sum }_{i=1}^{n}P\left(x|y_k\right)P\left(y_k\right)}$$
条件概率$P\left(x|y_k\right)=P\left(x_1,x_2,\cdots ,x_n|y_k\right)$
它的参数规模是指数数量级别的，假设第$i$维特征$x_i$有$S_i$个，类别取值个数为k
k个，那么参数个数为$k{\prod }_{j=1}^n{S}_j$。这显然是不可行的。针对这个问题，朴素贝叶斯算法对条件概率分布做了独立性的假设，通俗地讲就是说假设各个维度的特征$x=\left(x_1,x_2,\cdots ,x_n\right)$互相独立，由于这是一个较强的假设，朴素贝叶斯算法也因此得名。在这个假设的前提上，条件概率可以转化为：
$$P\left(x|y_i\right)=P\left(x_1,x_2,\cdots ,x_n|y_i\right)=\prod _{i=1}^{n}P\left(x_i|y_i\right)$$
这样参数规模就降到了${\prod }_{i=1}^n{S}_{i}k$以上就是针对条件概率所作出的特征条件独立性假设，至此，先验概率$P(y_k)$和条件概率$P(x|y_k)$的求解问题就都解决了
推导可得：
$$P\left(y_k|x\right)=\frac{P\left(y_k\right){\prod }_{i=1}^{n}P\left(x_i|y_k\right)}{{\sum }_{k}P\left(y_k\right){\prod }_{i=1}^{n}P\left(x_i|y_k\right)}$$
于是朴素贝叶斯分类器可表示为：
$$f(x)=\arg \underset{y_k}{\max }P\left(y_k|x\right)=\arg \underset{y_k}{\max }\frac{P\left(y_k\right){\prod }_{i=1}^{n}P\left(x_i|y_k\right)}{{\sum }_{k}P\left(y_k\right){\prod }_{i=1}^{n}P\left(x_i|y_k\right)}$$

因为对于所有的$y_k$，上式中的分母的值都是一样的.朴素贝叶斯最终表示为：
f ( x ) = arg ⁡ max ⁡ y k P ( y k ∣ x ) = arg ⁡ max ⁡ y k { P ( y k ) ∏ i = 1 n P ( x i ∣ y k ) f(x)=\arg \max _{y_{k}} P\left(y_{k} | x\right)=\arg \max _{y_{k}} \{P\left(y_{k}\right) \prod_{i=1}^{n}P(x_{i}|y_{k}) f(x)=argyk​max​P(yk​∣x)=argyk​max​{P(yk​)i=1∏n​P(xi​∣yk​)

极大似然估计

在朴素贝叶斯法中，学习意味着估计$P(Y=c_k)$和$P(X^{(j)}=x^{(j)}|Y=c_k)$可以用极大似然估计法估计相应的概率。先验概率$P(Y=c_k)$的极大似然估计是
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k))}{N}$$

归结贝叶斯

• 朴素贝叶斯
  $$P(y\mid x_1,\dots ,x_n)=\frac{P(y)P(x_1,\dots x_n\mid y)}{P(x_1,\dots ,x_n)}$$

• 高斯贝叶斯
  $$P(x_i\mid y)=\frac{1}{\sqrt{2\pi {\sigma }_y^2}}\exp \left(-\frac{(x_i-{\mu }_y{)}^2}{2{\sigma }_y^2}\right)$$

• 多项分布朴素贝叶斯
  $${\hat{\theta }}_{yi}=\frac{N_{yi}+\alpha }{N_y+\alpha n}$$

• 补充朴素贝叶斯

• 伯努利朴素贝叶斯

• $$P(x_i\mid y)=P(i\mid y)x_i+(1-P(i\mid y))(1-x_i)$$