机器学习小记-朴素贝叶斯

朴素贝叶斯（Naive Bayes）是一种基于概率统计和特征条件独立性假设的分类算法。它使用贝叶斯定理来预测样本的类别，并通过计算后验概率来进行分类决策。朴素贝叶斯算法常用于文本分类、垃圾邮件过滤、情感分析等任务。

以下是朴素贝叶斯算法的详细步骤：

1. 数据准备：首先，收集和准备用于训练的数据集。数据集由一组已知类别的样本组成，每个样本都有一组特征和对应的类别标签。

2. 特征选择：根据问题的需求，选择适当的特征作为分类的依据。朴素贝叶斯算法假设特征之间是条件独立的，这意味着每个特征对于分类的贡献是相互独立的。

3. 计算先验概率：根据训练数据集，计算每个类别的先验概率。先验概率表示每个类别在整个数据集中的出现概率。

4. 计算条件概率：对于每个特征，计算在给定类别下该特征取值的条件概率。朴素贝叶斯算法假设特征之间是独立的，因此可以将条件概率表示为各个特征的单独概率。

5. 计算后验概率：根据贝叶斯定理，计算每个类别在给定特征下的后验概率。后验概率表示在给定特征条件下，样本属于每个类别的概率。

6. 分类决策：根据后验概率，选择具有最高后验概率的类别作为样本的分类结果。

7. 模型评估：使用测试数据集对模型进行评估，计算分类的准确率、精确率、召回率等指标，以评估模型的性能。

朴素贝叶斯算法的关键假设是特征之间的条件独立性，即给定类别的情况下，每个特征都是相互独立的。尽管这个假设在现实世界中往往不成立，但朴素贝叶斯算法仍然具有简单、高效和良好的分类性能。在实践中，可以根据具体问题的特点选择适合的朴素贝叶斯变体，如多项式朴素贝叶斯、高斯朴素贝叶斯等，以获得更好的分类结果。

核心公式

根据贝叶斯定理，朴素贝叶斯算法的核心公式可以表示为：

$$P(C_k|X)=\frac{P(X|C_k)\cdot P(C_k)}{P(X)}$$

其中：

• $P(C_k|X)$ 是给定特征 $X$ 条件下类别 $C_k$ 的后验概率。
• $P(X|C_k)$ 是在类别 $C_k$ 下观察到特征 $X$ 的概率，也称为似然概率。
• $P(C_k)$ 是类别 $C_k$ 的先验概率。
• $P(X)$ 是特征 $X$ 的边缘概率，用于归一化后验概率。由于我们只关心后验概率的相对大小而不是具体的概率值，因此可以省略分母 $P(X)$。在实际计算中，为了保证后验概率的总和为1，我们会进行归一化操作。具体地，对于每个类别 $Y$ 的后验概率 $P(Y|X)$，除以所有类别的后验概率之和 ${\sum }_{Y^{\prime }}P(Y^{\prime }|X)$。因此，$P(X)$ 在计算后验概率时起到一个归一化的作用，确保概率值的合法性，并保证后验概率的总和为1。

分析：
朴素贝叶斯算法的核心公式可以理解为，在给定特征 $X$ 的条件下，通过计算每个类别 $C_k$ 的后验概率来进行分类预测。公式中的 $P(X|C_k)$ 和 $P(C_k)$ 是通过训练数据估计得到的概率值，$P(X)$ 是一个归一化因子，用于保证后验概率的总和为1。

朴素贝叶斯算法的关键假设是特征之间相互独立，即给定类别的情况下，每个特征与其他特征是条件独立的。这个假设简化了计算，使得可以将联合概率分解为各个特征的概率乘积。

在应用朴素贝叶斯算法时，需要根据训练数据计算似然概率和先验概率。似然概率可以根据特征出现的频率来估计，而先验概率可以根据每个类别在训练数据中的比例来估计。然后，通过将这些概率代入核心公式，可以计算后验概率，并选择具有最高后验概率的类别作为预测结果。

需要注意的是，朴素贝叶斯算法对于特征之间的独立性假设可能在实际问题中不成立。尽管如此，朴素贝叶斯算法仍然是一种简单而有效的分类算法，在许多实际应用中取得了很好的结果。

最大似然估计

最大似然估计（Maximum Likelihood Estimation，简称MLE）是一种常用的参数估计方法，用于估计统计模型中的参数。它基于观察到的样本数据，通过选择能使样本观测值出现概率最大的参数值，来估计真实参数的取值。

假设我们有一个观测数据集 D = { x 1 , x 2 , . . . , x n } D = \{x_1, x_2, ..., x_n\} D={x1​,x2​,...,xn​}，其中每个观测值 $x_i$ 是独立同分布的采样结果。我们希望估计一个参数向量 $\theta$，使得观测数据集出现的概率最大化。这个概率可以用参数化的概率分布函数 $P(x|\theta )$ 来表示。

最大似然估计的思想是选择能够最大化观测数据集出现概率的参数值。换句话说，我们要找到一个参数值 $\hat{\theta }$，使得 $P(D|\hat{\theta })$ 达到最大。由于样本观测值是独立同分布的，我们可以将整个数据集的出现概率写成各个观测值的概率的乘积：

$$P(D|\theta )=P(x_1|\theta )\cdot P(x_2|\theta )\cdot ...\cdot P(x_n|\theta )$$

为了方便计算，通常使用对数似然函数，将乘积转化为求和：

$$\log P(D|\theta )=\sum _{i=1}^n\log P(x_i|\theta )$$

最大似然估计的目标是找到参数值 $\hat{\theta }$，使得对数似然函数 $\log P(D|\theta )$ 达到最大。常见的方法是通过求解最大化问题，即求解以下优化问题：

$$\hat{\theta }=\arg \underset{\theta }{\max }\log P(D|\theta )$$

具体的优化方法可以使用梯度下降、牛顿法等迭代算法来求解。

最大似然估计在统计学和机器学习中被广泛应用，它可以用于估计各种参数化的概率分布模型的参数，如高斯分布的均值和方差，伯努利分布的概率等。它是一种简单而有效的参数估计方法，具有良好的理论性质。然而，最大似然估计也存在一些限制，例如对于稀疏数据和过拟合问题可能表现不佳。在一些情况下，可以使用贝叶斯估计等方法来进行参数估计的改进。

手撕实现

import numpy as np
class NaiveBayes:
    def __init__(self):
        self.num_classes = 0
        self.priors = {}
        self.feature_probs = {}
    def fit(self, X, y):
        num_samples, num_features = X.shape
        self.num_classes = len(np.unique(y))
        # 计算先验概率
        unique_classes, class_counts = np.unique(y, return_counts=True)
        self.priors = dict(zip(unique_classes, class_counts / num_samples))
        print(self.priors)
        # 计算每个特征在每个类别下的条件概率
        self.feature_probs = {}
        for c in unique_classes:
            class_samples = X[y == c]
            class_feature_probs = {}
            for feature_idx in range(num_features):
                feature_values = np.unique(X[:, feature_idx])
                feature_probs = {}
                for v in feature_values:
                    count = np.sum(class_samples[:, feature_idx] == v)
                    prob = (count + 1) / (len(class_samples) + len(feature_values))
                    feature_probs[v] = prob
                class_feature_probs[feature_idx] = feature_probs
            self.feature_probs[c] = class_feature_probs
    def predict(self, X):
        num_samples = X.shape[0]
        y_pred = np.zeros(num_samples, dtype=int)
        for i in range(num_samples):
            probabilities = np.zeros(self.num_classes)
            for c in range(self.num_classes):
                class_prob = self.priors[c]
                for feature_idx, feature_value in enumerate(X[i]):
                    if feature_value in self.feature_probs[c][feature_idx]:
                        class_prob *= self.feature_probs[c][feature_idx][feature_value]
                probabilities[c] = class_prob
            y_pred[i] = np.argmax(probabilities)
        return y_pred

当条件独立性假设不成立，朴素贝叶斯仍旧可能产生最优贝叶斯分类器

当条件独立性假设不成立时，朴素贝叶斯仍然可能产生最优贝叶斯分类器，尽管模型假设与数据不完全吻合。

朴素贝叶斯分类器基于贝叶斯定理和条件独立性假设，其中条件独立性假设是指给定类别的情况下，所有特征之间是相互独立的。然而，在现实世界的许多问题中，这个假设通常是过于严格的。

尽管如此，朴素贝叶斯仍然可能产生最优分类器的原因在于以下几点：

1. 数据特征的相关性较弱：虽然条件独立性假设不成立，但是数据特征之间的相关性可能较弱。在这种情况下，朴素贝叶斯模型仍然可以在一定程度上捕捉到关键特征之间的相互作用，从而有效分类数据。

2. 数据中存在强特征：即使特征之间存在一定程度的相关性，但某些特征可能对分类任务起主导作用，这些特征在分类决策中起到了更重要的作用。朴素贝叶斯模型可以通过这些重要特征进行有效分类，而对于次要特征的条件独立性假设不成立并不会对分类结果产生明显的影响。

3. 大量训练样本：当训练样本足够多时，朴素贝叶斯模型可以通过观察训练样本的统计信息来减弱特征之间的相关性对分类结果的影响。大量的样本有助于建立准确的类别条件概率模型，从而实现较好的分类性能。

虽然朴素贝叶斯模型在条件独立性假设不成立的情况下仍然可能表现良好，但在特征相关性较强的情况下，其他考虑特征相关性的分类方法可能更合适。在实际应用中，根据数据特点和问题需求，选择适当的分类模型是很重要的。