贝叶斯公式:P(A|B) = P(B|A) * P(A) / P(B)
含义是: 在已知B发生的情况下 A发生的概率。
贝叶斯公式 是机器学习中 比较基础的,也是最开始学习就会接触的,下面一起来看看,它的两种理解方式吧。
有一种说法是:
全概率公式描述的是 对于同一个结果,有多种形成的原因,问造成这种结果的概率是多少? 可以理解为 因果关系中 顺的过程
贝叶斯公式描述的是 当已知结果,问导致这个结果的某种原因的可能性 是多少? 执果索因。 可以理解为 因果关系中 求逆的过程
这样,在上面的公式里,可以A是原因 B是结果, 但在上面的公式里,A和B也可以是独立的事件。
把公式中的分母 移到另一边,P(A|B) * P(B) = P(B|A) * P(A) 得到的意义是: 发生B且发生A的概率 = 发生A且发生B的概率 也就是AB的交集。 也就是两件事都发生。 但发生的顺序可以不同,可以对应到两种 对贝叶斯公式的理解方式:
如果B先发生,只需关注 B发生后的情况,如下右图 阴影部分 占B事件的比例 即为所求概率
如果A先发生,先验概率 * 调整因子 调整因子是指 (条件概率 / 全概率)
有三种常见的例子,如:
某种疾病的检查结果 (假设一个地区的此疾病发病率 千分之一。某种测试手段 对真有此疾病的人 测试结果是 100% 阳性,就是没有失误;但是对没有此疾病的人测试的结果 可能有 5% 的可能性 误诊为阳性。 有一个人被测出 此疾病阳性,那么这个人真串病的可能性是多少?)
或 机器状态与生产合格产品的例子 (机器良好状态 生产合格产品几率是 90%,在故障状态 生产合格产品几率是 30%,机器良好的概率是 75%。若一日第一件产品是合格品,那么此日 机器良好的概率是多少。)
或 多云和下雨的例子:(50%的雨天的早上 是多云的, 大约40%的日子 早上是多云的, 此地区平均30天里一般只有3天会下雨,10%下雨概率。如果今天多云,下雨的概率是多少。)
阴影部分 占B事件的比例 | 先验概率 * 调整因子 | |
疾病检测 | 交集(既检阳又真患病) / 检阳 | 患病 * 调整因子 (真患病阳性/所有阳性) |
机器状态 | 交集(既产品合格又真机器良好) / 产品合格 | 机器良好 * 调整因子 (良好合格/所有合格) |
云雨概率 | 交集(既多云又下雨) / 多云 | 下雨 * 调整因子 (雨云/所有云) |