数据挖掘——朴素贝叶斯分类

《数据挖掘》国防科技大学
《数据挖掘》青岛大学
Python：贝叶斯分类
贝叶斯分类基于贝叶斯定理，是机器学习的核心方法之一。
目前研究较多的贝叶斯分类器主要有四种：

• 朴素贝叶斯分类器(Naive Bayes Classifier,或 NBC)
• TAN
• BAN
• GBN

数据挖掘之朴素贝叶斯分类

• 朴素贝叶斯分类器有坚实的数学基础，以及稳定的分类效率。同时，此模型所需估
计的参数很少，对缺失数据不太敏感，算法也比较简单。

贝叶斯定理

最终的目标就是求得p(类别|特征) 。
• 朴素贝叶斯中的朴素就是假设各特征之间相互独立。

工作过程

优缺点

• 优点：
  （1）逻辑简单、易于实现、分类过程中算法的时间空间开销比较小；
  （2）算法比较稳定、具有比较好的健壮性
• 缺点：有属性间条件独立的这个假定，而很多实际问题中这个独立性假设并不成立，如果在属性间存在相关性的实际问题中忽视这一点，会导致分类效果下降。

补充

来自：白板推导笔记

Python实现

sklearn.naive_bayes: Naive Bayes模块

根据特征数据的先验分布不同，scikit-learn库提供了5种不同的朴素贝叶斯分类算法：

1. 伯努利朴素贝叶斯（BernoulliNB）
2. 类朴素贝叶斯（CategoricalNB）
3. 高斯朴素贝叶斯（GaussianNB）
4. 多项式朴素贝叶斯（MultinomialNB）
5. 补充朴素贝叶斯（ComplementNB）

实例

import pandas as pd
from sklearn.naive_bayes import GaussianNB

data_url="../1. 数据挖掘-国防科技大学/数据包/diabetes.csv"
df = pd.read_csv(data_url)
x = df.iloc[0:735,0:8]
y = df.iloc[0:735,8]
clf = GaussianNB().fit(x,y)
dftest = df.iloc[735:768,0:8]
df1 = pd.DataFrame(columns=['test','true'])

df2 = df.iloc[735:768,8].to_frame()
df2 = df2.reset_index(drop=True)

df1['test'] = clf.predict(dftest)
df1['true']=df2

# 准确率计算
m = 0
for i in range(0,df1.shape[0]):
    if df1.at[i,'test']==df1.at[i,'true']:
        m = m + 1
    i = i + 1
acc = m/df1.shape[0]
print("准确率为：",acc)

import pandas as pd
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import train_test_split
import numpy as np

# 函数封装：
def Bayes_test(df):
    X = df.iloc[:,1:4]
    y = df.iloc[:,4]
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
    print(y_test)
    # 使用高斯朴素贝叶斯进行计算
    clf = GaussianNB()
    clf.fit(X_train, y_train)
    # 评估
    y_pred = clf.predict(X_test)
    print(y_pred)
    acc = np.sum(y_test == y_pred) / X_test.shape[0]
    return acc

# 读取数据并计算准确率：
data_url = "../1. 数据挖掘-国防科技大学/数据包/iris.csv"
df = pd.read_csv(data_url,index_col=0)
acc = Bayes_test(df)
print("准确率为：",acc)