朴素贝叶斯 Numpy实现高斯朴素贝叶斯

Numpy实现朴素贝叶斯

朴素贝叶斯

y = arg ⁡ max ⁡ c k P ( Y = c k ) ∏ j = 1 n P ( X j = x ( j ) Y = c k ) y=\arg \max _{c_{k}} P\left(Y=c_{k}\right) \prod_{j=1}^{n} P\left(X_{j}=x^{(j)} Y=c_{k}\right) y=argckmaxP(Y=ck)j=1nP(Xj=x(j)Y=ck)

后验概率最大等价于0-1损失函数时的期望风险最小化。

GaussianNB 高斯朴素贝叶斯

特征的可能性被假设为高斯

概率密度函数:
P ( x i ∣ y k ) = 1 2 π σ y k 2 e x p ( − ( x i − μ y k ) 2 2 σ y k 2 ) P(x_i | y_k)=\frac{1}{\sqrt{2\pi\sigma^2_{yk}}}exp(-\frac{(x_i-\mu_{yk})^2}{2\sigma^2_{yk}}) P(xiyk)=2πσyk2 1exp(2σyk2(xiμyk)2)

数学期望(mean): μ \mu μ

方差: σ 2 = ∑ ( X − μ ) 2 N \sigma^2=\frac{\sum(X-\mu)^2}{N} σ2=N(Xμ)2

代码实现

import numpy as np
from scipy.stats import norm

class GaussianNaiveBayes:
    def fit(self, X, y):
        # 获取类别标签
        self.classes = np.unique(y)
        # 计算每个类别的先验概率
        self.class_probs = self._calculate_class_probs(y)
        # 计算每个类别的特征均值和方差
        self.mean, self.variance = self._calculate_statistics(X, y)

    def predict(self, X):
        # 对每个样本进行预测
        predictions = [self._predict_instance(x) for x in X]
        return np.array(predictions)

    def _predict_instance(self, x):
        # 计算每个类别的后验概率,并返回具有最大后验概率的类别
        posteriors = []

        for idx, c in enumerate(self.classes):
            prior = np.log(self.class_probs[idx])
            posterior = np.sum(np.log(norm.pdf(x, loc=self.mean[idx], scale=np.sqrt(self.variance[idx]))))
            posterior += prior
            posteriors.append(posterior)

        return self.classes[np.argmax(posteriors)]

    def _calculate_class_probs(self, y):
        # 计算每个类别的先验概率
        class_probs = [np.sum(y == c) / len(y) for c in self.classes]
        return class_probs

    def _calculate_statistics(self, X, y):
        # 计算每个类别的特征均值和方差
        mean = []
        variance = []

        for c in self.classes:
            X_c = X[y == c]
            mean_c = np.mean(X_c, axis=0)
            variance_c = np.var(X_c, axis=0)
            mean.append(mean_c)
            variance.append(variance_c)

        return np.array(mean), np.array(variance)


# 生成一些示例数据
np.random.seed(42)
X = np.random.rand(100, 2)
y = (X[:, 0] + X[:, 1] > 1).astype(int)

# 创建并训练高斯朴素贝叶斯分类器
nb_classifier = GaussianNaiveBayes()
nb_classifier.fit(X, y)

# 预测新样本
new_samples = np.array([[0.8, 0.2], [0.4, 0.6]])
predictions = nb_classifier.predict(new_samples)

print("预测结果:", predictions)

预测结果: [1 0]

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小小程序○

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值