贝叶斯网络和概率推理（一）:理性决策与朴素贝叶斯

在实际问题中，理性决策（rational decision）就意味着必须对结果出现的相关因素及其重要性，以及目标实现的可能性进行合理评估。由于未知和惰性，让我们对问题中的每个“因果关系”不能给出确定性的衡量，最多给出“因果”之间的信念度（degree of belief），也就是事情发生的概率。与此同时，不同决策间的偏好（preference）也是理性决策过程中不可避免的组成部分，而对于“效用更高”状态的这种偏好，也被称为效用理论（utility theory）。可以说：

决策理论=概率理论+效用理论

在理性状态下，所有的决策都应该使得对应的效用最大化，也就是所谓的期望效用最大化（Maximun Expected Utility, MEU）原则。

首先来看决策理论中的概率部分。这部分决定了决策的走向，也就是说，事情往往会朝着概率最大的方向发展。对于一个随机事件，如果不考虑其它信息的情况下，考察其发生的信念度，就称为先验概率（prior probabilities）或者无条件概率（unconditional probabilities）。一旦考虑其它信息，比如某种已知的因素，这时的概率称为后验概率（posterior probabilities）或者条件概率（conditional probabilities）。注意后验概率是一种条件上的蕴含关系（conditioning implication），而不是逻辑上的蕴含关系（logical implication）。也就是说，条件概率p(A|B)是指如果仅有条件B已知的情况下，事件A发生的概率，并不是如果B发生，A一定会发生的概率。理解了这一点，也就很容易理解条件概率定义的乘法规则（product rule）形式：

$$P(a\wedge b)=P(a|b)P(b)$$
从条件概率的乘法规则形式可以很容易地推导出贝叶斯条件概率公式：
$$P(a\wedge b)=P(a|b)P(b)=P(b|a)P(a)$$
进而得到：
$$P(b|a)=\frac{P(a|b)P(b)}{P(a)}$$
其中，P(a)是事件a发生的先验概率，与 $P(a|b)$， $P(b|a)$和 $P(b)$都无关，可以认为是常数 α