朴素贝叶斯：多特征多特征值计算示例

问题描述

我们有一个天气数据集，包含以下特征和类别 $Y$（是否适合外出）：

• 数据结构：
  • $X_1$：天气状况（晴天、阴天、雨天）
  • $X_2$：温度（高、中、低）
  • $X_3$：湿度（高、低）
  • $Y$：是否适合外出（是、否）

训练数据如下：

天气状况 ($X_1$)	温度 ($X_2$)	湿度 ($X_3$)	是否外出 ($Y$)
晴天	高	高	否
晴天	高	高	否
阴天	高	高	是
雨天	中	高	是
雨天	低	低	是
雨天	低	低	否
阴天	低	低	是
晴天	中	高	否
晴天	低	低	是
雨天	中	低	是

我们需要预测一个新样本：

• $X=(\text{晴天},\text{高},\text{高})$
• 问：该样本是否适合外出？

---

1. 按朴素贝叶斯算法计算步骤

1.1 计算先验概率 $P(Y)$

统计训练数据中每个类别的数量：

• $P(Y=\text{是})=\frac{\text{是 的样本数}}{\text{总样本数}}=\frac{5}{10}=0.5$
• $P(Y=\text{否})=\frac{\text{否 的样本数}}{\text{总样本数}}=\frac{5}{10}=0.5$

1.2 计算条件概率 $P(X_i|Y)$

对每个特征 $X_1,X_2,X_3$，计算特征值在各类别下的条件概率：

天气状况 ($X_1$) 的条件概率：

• $P(X_1=\text{晴天}|Y=\text{是})=\frac{\text{是 中 晴天的样本数}}{\text{是 的样本数}}=\frac{0}{5}=0$
• $P(X_1=\text{晴天}|Y=\text{否})=\frac{\text{否 中 晴天的样本数}}{\text{否 的样本数}}=\frac{3}{5}=0.6$
• $P(X_1=\text{雨天}|Y=\text{是})=\frac{3}{5}=0.6$
• $P(X_1=\text{雨天}|Y=\text{否})=\frac{1}{5}=0.2$
• $P(X_1=\text{阴天}|Y=\text{是})=\frac{2}{5}=0.4$
• $P(X_1=\text{阴天}|Y=\text{否})=\frac{1}{5}=0.2$

温度 ($X_2$) 的条件概率：

• $P(X_2=\text{高}|Y=\text{是})=\frac{1}{5}=0.2$
• $P(X_2=\text{高}|Y=\text{否})=\frac{2}{5}=0.4$
• $P(X_2=\text{中}|Y=\text{是})=\frac{2}{5}=0.4$
• $P(X_2=\text{中}|Y=\text{否})=\frac{1}{5}=0.2$
• $P(X_2=\text{低}|Y=\text{是})=\frac{2}{5}=0.4$
• $P(X_2=\text{低}|Y=\text{否})=\frac{2}{5}=0.4$

湿度 ($X_3$) 的条件概率：

• $P(X_3=\text{高}|Y=\text{是})=\frac{2}{5}=0.4$
• $P(X_3=\text{高}|Y=\text{否})=\frac{3}{5}=0.6$
• $P(X_3=\text{低}|Y=\text{是})=\frac{3}{5}=0.6$
• $P(X_3=\text{低}|Y=\text{否})=\frac{2}{5}=0.4$

---

2. 分类计算

后验概率计算公式

根据朴素贝叶斯公式：
$$P(Y|X)\propto P(Y)\cdot P(X_1|Y)\cdot P(X_2|Y)\cdot P(X_3|Y)$$

分别计算 $P(Y=\text{是}|X)$ 和 $P(Y=\text{否}|X)$：

2.1 计算 $P(Y=\text{是}|X)$

$$P(Y=\text{是}|X)\propto P(Y=\text{是})\cdot P(X_1=\text{晴天}|Y=\text{是})\cdot P(X_2=\text{高}|Y=\text{是})\cdot P(X_3=\text{高}|Y=\text{是})$$
代入：
$$P(Y=\text{是}|X)\propto 0.5\cdot 0\cdot 0.2\cdot 0.4=0$$

2.2 计算 $P(Y=\text{否}|X)$

$$P(Y=\text{否}|X)\propto P(Y=\text{否})\cdot P(X_1=\text{晴天}|Y=\text{否})\cdot P(X_2=\text{高}|Y=\text{否})\cdot P(X_3=\text{高}|Y=\text{否})$$
代入：
$$P(Y=\text{否}|X)\propto 0.5\cdot 0.6\cdot 0.4\cdot 0.6=0.072$$

---

3. 结果

由于：
$$P(Y=\text{是}|X)=0,P(Y=\text{否}|X)=0.072$$

分类结果为：
$$\hat{Y}=\text{否}$$

---

总结

1. 多特征朴素贝叶斯计算的关键在于逐一计算每个特征在不同类别下的条件概率。
2. 条件独立性假设简化了联合概率的计算，将其分解为各特征条件概率的乘积。
3. 在本例中，基于训练数据和条件概率，新样本被分类为 “否”。