贝叶斯分类

朴素贝叶斯模型是一组非常简单快速的分类算法，通常适用于维度非常高的数据集，因为运行速度快，而且可调参数少，因此非常适合为分类问题提供快速粗糙的基本方案。

贝叶斯分类
朴素贝叶斯分类器建立在贝叶斯分类方法上，其数学基础是贝叶斯定理，一个描述统计计量条件概率关系的公式。在贝叶斯分类中，我们希望确定一个具有某些特征的样本术语某类标签的概率，通常记为P(L|特征)。
P(L|特征)=$\frac{P(特征|L)P(L)}{P(特征)}$

高斯朴素贝叶斯
最容易理解的朴素贝叶斯分类器可能就是高斯朴素贝叶斯

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
from sklearn.naive_bayes import GaussianNB
import seaborn as sns
sns.set()
seed = 2
x,y = make_blobs(100,2,centers=2,random_state=2,cluster_std=1.5)
# plt.scatter(x[:,0],x[:,1],c=y,s=50,cmap='RdBu')

model = GaussianNB()
model.fit(x,y)

rng = np.random.RandomState(seed)
xNew = [-6,-14] + [14,18]*rng.rand(2000,2)
# yNew = model.predict(xNew)
yprob = model.predict_proba(xNew)#计算样本术语某个标签的概率
print(yprob[-8:].round(2))
# lim = plt.axis()
# plt.scatter(xNew[:,0],xNew[:,1],c=yNew,s=20,cmap='RdBu',alpha=0.5)
# plt.axis(lim)
# plt.show()

多项式朴素贝叶斯
前面介绍的高斯假设并不意味着每个标签的生成模型只能用这一种假设。还有一种常用的假设是多项式朴素贝叶斯，它假设特征是由一个简单多项式分布生成的。多项分布可以描述各种类型样本出现次数的概率，因此多项式朴素贝叶斯非常适合用于描述出现次数或者出现次数比例的特征。