sklearn.naive_bayes

• 如果没有很多数据，贝叶斯模型会比很多复杂的模型获得更好的性能，因为复杂的模型用了太多假设，易产生欠拟合。

• 在scikit-learn中，常用的3种朴素贝叶斯分类算法：GaussianNB(高斯朴素贝叶斯)、MultinomialNB(多项式朴素贝叶斯)、BernoulliNB(伯努利朴素贝叶斯)

这三个类适用的分类场景各不相同，一般来说

• 如果样本特征的分布大部分是连续值，使用GaussianNB会比较好。
• 如果样本特征的分布大部分是多元离散值，使用MultinomialNB比较合适。如文本分类单词统计，以出现的次数作为特征值
• 如果样本特征是二元离散值或者很稀疏的多元离散值，应该使用BernoulliNB。

高斯朴素贝叶斯：sklearn.naive_bayes.GaussianNB(priors=None)

GaussianNB假设特征的先验概率为正态分布：
$$P(X_j=x_j|Y=C_k)=\frac{1}{\sqrt{2\pi {\sigma }_k^2}}exp(-\frac{(x_j-{\mu }_k{)}^2}{2{\sigma }_k^2})$$
其中$C_k$为Y的第k类类别，GaussianNB会根据训练集求出${\mu }_k$ 和${\sigma }_k^2$。

• priors：默认None，对应Y的各个类别的先验概率$P(Y=C_k)=m_k/m$，其中m为训练集样本总数量，$m_k$为输出为第k类别的训练集样本数。若给出以priors 为准。

clf属性：

• fit(X, y, sample_weight=None)：训练样本，sample_weight表示各样本权重数组
• partial_fit(X, y, classes=None, sample_weight=None)：增量式训练，当训练数据集数据量非常大，不能一次性全部载入内存时，可以将数据集划分若干份，重复调用partial_fit在线学习模型参数，在第一次调用partial_fit函数时，必须制定classes参数，在随后的调用可以忽略。
• class_count_属性：获取各类标记对应的训练样本数
• theta_属性：获取各个类标记在各个特征上的均值
• sigma_属性：获取各个类标记在各个特征上的方差
• score(X, y, sample_weight=None)：返回测试样本准确率
• predict直接给出测试集的预测类别输出。
• predict_proba给出测试集样本在各个类别上预测的概率。
• predict_log_proba给出测试集样本在各个类别上预测的概率的一个对数转化。

多项式朴素贝叶斯：sklearn.naive_bayes.MultinomialNB(alpha=1.0, fit_prior=True, class_prior=None)

MultinomialNB假设特征的先验概率为多项式分布：
$$P(X_j=x_{jl}|Y=C_k)=\frac{m_{kjl}+\lambda }{m_k+O_j\lambda }$$
$m_k$是训练集中输出为第k类的样本个数。λ 为一个大于0的常数，即拉普拉斯平滑。

• alpha：默认1.0，拉普拉斯平滑系数，如果发现拟合的不好，可以选择稍大于1或者稍小于1的数
• fit_prior：默认True，是否学习先验概率，参数为False表示所有类标记具有相同的先验概率（1/k）
• class_prior：默认None，此时的先验概率为$m_k/m$，也可以自己输入先验概率

clf属性：

• class_log_prior_ / intercept_：各类的平滑先验概率对数值
• feature_log_prob_ / coef_：各类各特征概率(条件概率)对数值，(n_classes, n_features)数组

伯努利朴素贝叶斯：sklearn.naive_bayes.BernoulliNB(alpha=1.0, binarize=0.0,
fit_prior=True,class_prior=None)

BernoulliNB假设特征的先验概率为二元伯努利分布：
$$P(X_j=x_{jl}|Y=C_k)=P(j|Y=C_k)x_{jl}+(1-P(j|Y=C_k))(1-x_{jl})$$$x_{jl}$只能取值0或者1。

• binarize：将数据特征二值化的阈值，如果不输入，则BernoulliNB认为每个数据特征都已经是二元的。