机器学习入门+实战初级（二）—— 朴素贝叶斯

欢迎关注公众号K的笔记阅读博主更多优质学习内容

前一篇内容：机器学习入门+实战初级（一）—— 线性回归

注：本文假定读者已有概率论基础

• 数据设定：我们首先假定我们已有的数据为：$$\left(x_1^{(1)},x_2^{(1)},\dots x_n^{(1)},y_1\right),\left(x_1^{(2)},x_2^{(2)},\dots x_n^{(2)},y_2\right),\dots \left(x_1^{(m)},x_2^{(m)},\dots x_n^{(m)},y_m\right)$$
  即我们有 $m$ 个样本，每个样本有 $n$ 个特征，特征输出有 $K$ 个标签，定义为 $C_1,C_2,\dots ,C_K$

• 贝叶斯定理：$P(B|A)=\frac{P(A|B)\ast P(B)}{P(A)}$

• 贝叶斯公式：
  $P(B|A)=P(B)\ast \frac{P(A|B)}{P(A)}=P(B)\ast \frac{P(A|B)}{{\sum }_{i=1}^{n}P\left(B_i\right)\ast P\left(A|B_i\right)}$
  即后验概率 = 先验概率 * 似然估计

朴素贝叶斯模型

我们容易得到一个结论：如果似然估计$\frac{P(B|A)}{P(B)}>1$，那么表示A事件的发生提高了B事件发生的概率。相反的，如果似然估计$\frac{P(B|A)}{P(B)}<1$，那么表示A事件的发生降低了B事件发生的概率。
我们预测的类别$C_{\text{result}}$ 是使 $P\left(Y=C_k|X=X^{(test)}\right)$ 最大的类别:
$$\begin{array}{rl}{C}_{\text{result}}& =\underset{C_k}{\underbrace{\mathrm{argmax}}}P\left(Y=C_k|X=X^{(\text{test})}\right)\\ & =\underset{C_k}{\underbrace{\mathrm{argmax}}}P\left(X=X^{(\text{test})}|Y=C_k\right)P\left(Y=C_k\right)/P\left(X=X^{(\text{test})}\right)\end{array}$$
分析上式可知分母 $P\left(X=X^{(test)}\right)$ ) 是固定值，因此预测公式可以简化为：
$$C_{result}=\underset{C_k}{\underbrace{\mathrm{argmax}}}P\left(X=X^{(test)}|Y=C_k\right)P\left(Y=C_k\right)$$
接着我们利用朴素贝叶斯的独立性假设，就可以得到通常意义上的朴素贝叶斯推断公式:
$$C_{\text{result}}=\underset{C_k}{\underbrace{\mathrm{argmax}}}P\left(Y=C_k\right)\prod _{j=1}^{n}P\left(X_j=X_j^{(test)}|Y=C_k\right)$$
在朴素贝叶斯算法中，我们需要估计 $P\left(Y=C_k\right)$ 和 $P\left(X_j=X_j^{(test)}|Y=C_k\right)$ 。具体方法可以使用极大似然估计法：
先验概率 $P\left(Y=C_k\right)$ 的极大似然估计是:
$$P\left(Y=C_k\right)=\frac{{\sum }_{i=1}^{N}I\left(y_i=C_k\right)}{N},k=1,2,\dots K$$
其中$$I\left(y_i=C_k\right)=\{\begin{array}{ll}1& y_i=C_k\\ 0& y_i\ne C_k\end{array}$$
第 j个特征 X (j) 可能的取值集合为 $\left(a_{j1},a_{j2},\dots a_{js}\right),$ 似然函数 $$P\left(X^{(j)}=a_{jl}|Y=C_k\right)=\frac{{\sum }_{i=1}^{N}I\left(X^{(j)}=a_{jl},y_i=C_k\right)}{I\left(y_i=C_k\right)}$$
$j=1,2,\dots N,l=1,2,\dots S,k=1,2,\dots K$
即 $C_k$ 标签中，第 $j$ 个特征 $X^{(j)}$ 中各种取值的次数在 $C_k$ 标签出现总次数中的占比。

朴素贝叶斯 Python 应用

朴素贝叶斯 sklearn 具体形式为：

class sklearn.naive_bayes.MultinomialNB(alpha=1.0, fit_prior=True, class_prior=None)

函数集合为：

Method	Explain
fit(self, X, y[, sample_weight])	Fit Naive Bayes classifier according to X, y
get_params(self[, deep])	Get parameters for this estimator.
partial_fit(self, X, y[, classes, sample_weight])	Incremental fit on a batch of samples.
predict(self, X)	Perform classification on an array of test vectors X.
predict_log_proba(self, X)	Return log-probability estimates for the test vector X.
predict_proba(self, X)	Return probability estimates for the test vector X.
score(self, X, y[, sample_weight])	Return the mean accuracy on the given test data and labels.
set_params(self, **params)	Set the parameters of this estimator.

官网样例：

>>> import numpy as np
>>> rng = np.random.RandomState(1)
>>> X = rng.randint(5, size=(6, 100))
>>> y = np.array([1, 2, 3, 4, 5, 6])
>>> from sklearn.naive_bayes import MultinomialNB
>>> clf = MultinomialNB()
>>> clf.fit(X, y)
MultinomialNB()
>>> print(clf.predict(X[2:3]))
[3]