机器学习系列之（六）朴素贝叶斯分类

前言

网友写的关于朴素贝叶斯的例子真的是脑洞大开，关于根据女孩的身材、高矮、胖瘦等特征来判断她是否漂亮的、根据男孩帅不帅，高不高，上不上进等来判断应不应该嫁的，千奇百怪，学的时候真的是乐趣无穷，个人觉得，学习就得这样。
好了，言归正传，从贝叶斯公式讲起。
引用链接：https://blog.csdn.net/fisherming/article/details/79509025
https://blog.csdn.net/u012040909/article/details/82151286
https://blog.csdn.net/qq1010885678/article/details/45092519

贝叶斯公式

这是最基础的贝叶斯公式，转化为机器学习中的形式就是：

大致解释一下：
设一个女孩x1,其具有的特征有（瘦，脸蛋好看，高），类别是（漂亮）

举例

有数据如下:

现在给定一个新的样本（男孩），其特征为：（帅，性格不好，高，不上进），判断女孩会不会嫁。
这里就用到了贝叶斯公式，问题转化为了求：

这里举得例子不是很好，最后得到了100%的嫁的概率，原因在于样本数目太少，其中p(高|不嫁)居然等于0，也就是说不嫁的里面没一个高的（高的果然抢手啊）。

朴素贝叶斯分类的一般过程

多种类别的贝叶斯分类

1、GaussianNB，高斯贝叶斯分类器。它假设特征的条件概率分布满足高斯分布：

2、MultinomialNB，多项式贝叶斯分类器。它假设特征的条件概率分布满足多项式分布：

3、BernoulliNB，伯努利贝叶斯分布。它假设特征的条件概率满足二项式分布：

Python 应用

这里挑选了kaggle中特别基础也特备热门的入门级竞赛：“泰坦尼克游客生存预测”
具体的比赛内容大家参考这里，数据也可以在这下载，代码如下：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import time
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB, BernoulliNB, MultinomialNB

# 导入数据集
data = pd.read_csv("train.csv")

# 将分类变量转换为数字
data["Sex_cleaned"]=np.where(data["Sex"]=="male",0,1)
data["Embarked_cleaned"]=np.where(data["Embarked"]=="S",0,
                                  np.where(data["Embarked"]=="C",1,
                                           np.where(data["Embarked"]=="Q",2,3)
                                          )
                                 )
# 清除数据集中的非数字值（NaN）
data=data[[
    "Survived",
    
    "Pclass",
    "Sex_cleaned",
    "Age",
    "SibSp",
    "Parch",
    "Fare",
    "Embarked_cleaned"
]].dropna(axis=0, how='any')

# 将数据集拆分成训练集和测试集
X_train, X_test = train_test_split(data, test_size=0.2, random_state=int(time.time()))

# 实例化分类器
gnb = GaussianNB()
used_features =[
    "Pclass",
    "Sex_cleaned",
    "Age",
    "SibSp",
    "Parch",
    "Fare",
    "Embarked_cleaned"
]

# 训练分类器
gnb.fit(
    X_train[used_features].values,
    X_train["Survived"]
)
y_pred = gnb.predict(X_test[used_features])

# 打印结果
print("Number of mislabeled points out of a total {} points : {}, performance {:05.2f}%"
      .format(
          X_test.shape[0],
          (X_test["Survived"] != y_pred).sum(),
          100*(1-(X_test["Survived"] != y_pred).sum()/X_test.shape[0])
))

结果为：

达到了78.32%的准确率。