机器学习 | 朴素贝叶斯

1 什么是朴素贝叶斯？

首先上一个特别好的结构图：

结合上图可以看到，朴素贝叶斯属于线性分类中的软分类的概率生成模型。这就有一个问题了，什么叫概率生成模型？什么叫概率判别模型呢？

• 监督学习方法可以分为生成方法和判别方法，对应所学到模型分别为生成模型和判别模型。

1、生成方法

• 定义：由数据学习联合概率分布$P(X,Y)$，然后求出条件概率分布$P(Y|X)$作为预测的模型，即生成模型！
  $P(Y|X)=\frac{P(X,Y)}{P(X)}$
• 为什么这么叫？因为模型表示了给定输入X产生输出Y的生成关系！最终是将X数值代入计算后验概率，看哪个y对应的后验概率大即对应哪一个类别，而不是把y等于啥的具体表达式给写出来，然后计算y=1和y=0的概率！即区别于判别模型！
• 典例：朴素贝叶斯，高斯判别分析，隐马尔可夫模型

2、判别方法

• 定义：由数据直接学习决策函数$f(X)$或者条件概率分布$P(Y|X)$作为预测模型，即为判别模型。它关心的是对于给定的X，用具体的表达式计算出预测概率，最终判定属于哪一个类别。
• 典例：逻辑回归，SVM，提升方法！

3、上述两者特点的比较：

• 原理不同。生成方法是还原出联合概率分布，利用后验概率来进行预测。判别方法是学习条件概率或者决策函数，直接预测。
• 学习速度不同。生成方法的学习收敛速度更快
• 准确率不同。判别方法的准确率更高。

2 朴素贝叶斯的实现过程

2.1 基本思想

朴素贝叶斯的分类思想：基于后验概率最大时对应的类别即为对应的预测类别，在计算这个后验概率的时候，有两个关键点：

• 一是如何计算后验概率。后验概率$P(Y|X)$最大=y的先验概率$P(Y)$ × 条件概率$P(X|Y)$ 最大化

$\hat{y}=argmaxP(Y|X)=argmax(P(Y)\ast P(X|Y))$

• 二是独立性假设。在计算条件概率$P(X|Y)$的时候用到了条件独立性假设！具体含义是指：
  
• 补充：在计算y的先验概率$P(Y)$以及条件概率$P(X|Y)$的时候，可以采用两种估计方法：极大似然估计和贝叶斯估计（防止概率值为0，引入$\lambda$，$\lambda =1$时称为拉普拉斯平滑）

2.2 极大似然估计

• 先验概率：
  
• 条件概率：
  

2.3 贝叶斯估计

先验概率：

• 其中k表示y的类别个数！

条件概率：

• 其中$S_j$表示现在这个计算的类别变量总共有多少个类别！即有多少中不同的取值情况！

3 朴素贝叶斯算法

4 评价

优点：

• 收敛速度较快。对小规模的数据表现很好，能个处理多分类任务，适合增量式训练，尤其是数据量超出内存时，我们可以一批批的去增量训练。
• 对缺失数据不太敏感
• 算法比较简单，常用于文本分类。
• 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率

缺点：

• 独立性假设太强了。这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。
• 需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。
• 准确率相比判别模型不太高。由于我们是通过先验和数据来决定后验的概率从而决定分类，所以分类决策存在一定的错误率。
• 对输入数据的表达形式很敏感。

5 Python实现

5.1 数据准备

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

from collections import Counter
import math

# data
def create_data():
    iris = load_iris()
    df = pd.DataFrame(iris.data, columns=iris.feature_names)
    df['label'] = iris.target
    df.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']
    data = np.array(df.iloc[:100, :])
    # print(data)
    return data[:,:-1], data[:,-1]

X, y = create_data()
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

X_test[0], y_test[0]

(array([5. , 2.3, 3.3, 1. ]), 1.0)

5.2 手写朴素贝叶斯

class NaiveBayes:
    def __init__(self):
        self.model = None

    # 数学期望
    @staticmethod
    def mean(X):
        return sum(X) / float(len(X))

    # 标准差（方差）
    def stdev(self, X):
        avg = self.mean(X)
        return math.sqrt(sum([pow(x-avg, 2) for x in X]) / float(len(X)))

    # 概率密度函数
    def gaussian_probability(self, x, mean, stdev):
        exponent = math.exp(-(math.pow(x-mean,2)/(2*math.pow(stdev,2))))
        return (1 / (math.sqrt(2*math.pi) * stdev)) * exponent

    # 处理X_train
    def summarize(self, train_data):
        summaries = [(self.mean(i), self.stdev(i)) for i in zip(*train_data)]
        return summaries

    # 分类别求出数学期望和标准差
    def fit(self, X, y):
        labels = list(set(y))
        data = {label:[] for label in labels}
        for f, label in zip(X, y):
            data[label].append(f)
        self.model = {label: self.summarize(value) for label, value in data.items()}
        return 'gaussianNB train done!'

    # 计算概率
    def calculate_probabilities(self, input_data):
        # summaries:{0.0: [(5.0, 0.37),(3.42, 0.40)], 1.0: [(5.8, 0.449),(2.7, 0.27)]}
        # input_data:[1.1, 2.2]
        probabilities = {}
        for label, value in self.model.items():
            probabilities[label] = 1
            for i in range(len(value)):
                mean, stdev = value[i]
                probabilities[label] *= self.gaussian_probability(input_data[i], mean, stdev)
        return probabilities

    # 类别
    def predict(self, X_test):
        # {0.0: 2.9680340789325763e-27, 1.0: 3.5749783019849535e-26}
        label = sorted(self.calculate_probabilities(X_test).items(), key=lambda x: x[-1])[-1][0]
        return label

    def score(self, X_test, y_test):
        right = 0
        for X, y in zip(X_test, y_test):
            label = self.predict(X)
            if label == y:
                right += 1

        return right / float(len(X_test))

model = NaiveBayes()

model.fit(X_train, y_train)

'gaussianNB train done!'

print(model.predict([4.4,  3.2,  1.3,  0.2]))

0.0

model.score(X_test, y_test)

1.0

5.3 sklearn.naive_bayes

from sklearn.naive_bayes import GaussianNB

clf = GaussianNB()
clf.fit(X_train, y_train)

GaussianNB(priors=None, var_smoothing=1e-09)

clf.score(X_test, y_test)

1.0

clf.predict([[4.4,  3.2,  1.3,  0.2]])

array([0.])

from sklearn.naive_bayes import BernoulliNB, MultinomialNB # 伯努利模型和多项式模型

6 参考

• https://www.cnblogs.com/pinard/p/6069267.html
• 写的比较好的：https://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html
• 李航老师的《统计学习方法》