贝叶斯定理

贝叶斯定理有什么用

贝叶斯定理由来

英国数学家贝叶斯为了解决“逆概率”问题,提出贝叶斯定理。

正向概率

桶里10个球,其中2个白球,8个黑球,任意摸出一个球,是白球的概率。在这里插入图片描述
而贝叶斯定理就是解决“逆概率“问题,我们不知道桶里面有什么,而是根据摸出来的球来预测桶里的白球和黑球的比例。在这里插入图片描述

为什么贝叶斯定理在生活中这么有用

现实生活中的问题,大部分都是像上面的“逆概率“问题。
生活中的绝大多数决策棉铃的信息都是不全的,我们手中只有有限的信息,也就是说,在我们无法得到全面的信息,我们就在信息有限的情况下,尽可能做出一个好的预测。贝叶斯定理可以根据过去的数据来预测出概率,特别的,他是机器学习的核心方法之一。

什么是贝叶斯定理

直接从例子入手
我的朋友发糕说,他的男神每次看到他的时候都冲她笑,他想知道男神是不是喜欢她。

这里,通过分析给出已知信息和未知信息

  1. 要解决的问题:男神喜欢你,记为A事件
  2. 已知条件:男神经常冲你笑,记为B事件

那么P(A|B)是男神经常冲你笑这个事件B发生后,男神喜欢你(A)的概率
在这里插入图片描述
下面了解三个东西:

先验概率

我们把P(A)称为“先验概率“,即我们在不知道B事件的前提下,对A事件概率的主观判断。

这里就是你不知道男神经常对你笑的前提下,来主观判断出男神喜欢一个人的概率,这里假设是50%,也就是喜欢不喜欢的概率都是一半。

可能性函数

公式里的P(B|A)/P(B)称为“可能性函数”,这是一个调整因子,即新信息B带来的调整,作用是使得先验概率更接近真实概率。

如果“可能性函数”P(B|A)/P(B)>1,意味着,“先验概率”被增强,事件A发生的可能性变大;
如果"可能性函数"=1,意味着B事件无助于判断事件A的可能性;
如果"可能性函数"<1,意味着"先验概率"被削弱,事件A的可能性变小。

这个例子里,通过男神经常冲你笑这个新的信息,我调查访问了男神的死党,最后发现男神平日比较高冷,很少对人笑,所以我估计出"可能性函数"P(B|A)/P(B)=1.5

后验概率

P(A|B)称为"后验概率",即在事件B发生之后,我们对A事件的概率的重新评估。这里就是在男神冲你笑后,对男神喜欢你的概率重新预测。

带入贝叶斯公式计算出P(A|B)=P(A)* P(B|A)/P(B)=50% *1.5=75%

因此男神经常冲你笑,喜欢上你的概率是75%。这就说明,男神经常冲你笑这个信息的推断能力很强,将50%的“先验概率”一下子提高到75%的“后验概率”
在这里插入图片描述

如何理解贝叶斯定理

现在再看一遍贝叶斯公式,就能明白公式背后的关键思想:
我们先根据以往的经验预估一个“先验概率”P(A),然后加入新的信息(实验结果B),这样有了新的信息后,我们对事件A的预测就更加准确。

因此,贝叶斯定理可以理解成下面的式子:
在这里插入图片描述
后验概率(新信息出现后的A概率) = 先验概率(A概率)x 可能性概率(新信息带来的调整)

贝叶斯定理的应用案例

全概率公式

这个公式的作用是计算贝叶斯定理中的P(B)

假定样本空间S,由两个事件A和A’组成的和,下图中,红色的部分是事件A,绿色的部分是事件A’,他们共同构成了样本空间S.
在这里插入图片描述
这时候,来了个事件B
在这里插入图片描述
全概率公式:
在这里插入图片描述
它的含义是,如果A和A’构成一个问题的全部(全部的样本空间),那么事件B的概率,就等于A和A’的概率分别乘以B对这两个事件的条件概率之和。

贝叶斯定理在判断中的应用

两个一摸一样的碗,1号碗里30个巧克力和10个水果糖,2号碗里20个巧克力和20个水果糖。在这里插入图片描述
然后把碗盖住,随机选择一个碗,从里面摸出一个巧克力。
问题:这颗巧克力来自1号碗的概率是多少?

第1步,分解问题

  1. 要求解的问题:取出的巧克力,来自1号碗的概率是多少?
    来自1号碗记为事件A1,来自2号碗记为事件A2
    取出的是巧克力,记为事件B
    那么要求的问题就是P(A1|B),即取出的是巧克力,来自1号碗的概率

  2. 已知信息:

  • 1号碗里有30个巧克力和10个水果糖
  • 2号碗里有20个巧克力和20个水果糖
  • 取出的是巧克力

第2步,应用贝叶斯定理

在这里插入图片描述

求贝叶斯中的2个指标

  1. 求先验概率
    由于两个碗一样,因此P(A1)=P(A2)=0.5

  2. 求可能性函数
    可能性函数P(B|A1)/P(B)
    其中P(B|A1)表示从一号碗中(A1)取出巧克力(B)的概率
    因为1号碗里有30个水果糖和10个巧克力,所以P(B|A1)=30/(30+10)=75%,现在只要求出P(B)就可以得到答案,根据全概率公式,可以求出P(B)
    在这里插入图片描述
    P(B)=62.5%
    所以,可能性函数P(A1|B)/P(B)=1.2>1,代表新信息B对事件A1的可能性增强了。

  3. 带入贝叶斯公式求后验概率
    P(A1|B)=60%
    在这里插入图片描述

贝叶斯定理解决问题的套路

第1步,分解问题

先列出解决这个问题所需要的一些条件,已知和未知
要求解的问题是什么?事件A(一般是想知道的问题),事件B(一般是新的信息,或者是实验结果)
已知条件是什么?

应用贝叶斯定理

求出贝叶斯公式中的两个指标

  • 求先验概率
  • 求可能性函数
  • 带入贝叶斯公式求后验概率在这里插入图片描述

贝叶斯定理在疾病检测中的应用

1、什么是假阳性

每一个医学检测,都存在假阳性率和假阴性率。假阳性就是没病,但是检测的结果是有病,那么假阴性就是有病,但是检测结果显示正常啦。

现在想象一下一个检测设备的准确率是99%,就是说会存在假阳性的情况,你可能被诊断有病,事实上你没有。

艾滋病大家都熟悉,他有一个潜伏期,就是即便你感染了但是你可能在相当长一段时间毫无感觉,所以艾滋病检测的假阳性会导致被测人非常大的心理压力啊。

99%,这个数字给人的感觉就是1%可以忽略不计,也就是说误诊的情况可以忽略不计,但事实上,咱们通过贝叶斯定理分析,不是你想的那样。

2、违反直觉的贝叶斯

现在有种病的发病率是0.001,有一种试剂可以检测患者是否得病,准确率是0.99,他的误报率是5%,就是说被测者没有患病的情况下,他有5%的可能呈现阳性。现在有一个患者检测结果是阳性,请问,他确实得病的可能性有多大?

第1步:分解问题

  1. 要求解的问题:病人的检测结果是阳性,他确实得病的概率是多大?
    病人的检测结果是阳性(新的信息)为事件B;他得病记为事件A;那么求解的就是P(A|B),即在病人检测结果为阳性,他确实得病的概率
    2.已知信息:
    疾病的发病率是0.001,即P(A)=0.001;
    试剂可以检测患者是否得病,准确率为0.99,即患者确实得病的情况下(A),他有99%的可能性呈现阳性(B),所以P(B|A)=0.99;
    试剂的误报率是5%,即在患者没有得病的情况下,他有5%的可能显示阳性,事件A是得病,那么我们把没有得病记为事件A’,所以P(B|A’)=5%

第2步:应用贝叶斯定理

在这里插入图片描述

  • 求先验概率
    疾病的发病率是0.001,即P(A)=0.001
  • 求可能性函数
    P(B|A)/P(B)
    其中P(B|A)表示患者确实得病,显示结果为阳性的概率,所以P(B|A)=0.99
    现在求解P(B),根据全概率公式,P(B)=0.05
    在这里插入图片描述那么可能性函数P(B|A)/P(B)=19.8
  • 带入贝叶斯公式后求后验概率
    最终结果P(A|B)=1.98%
    也就是说,虽然试剂的准确性为99%,但是通过检验判断有没有得病的概率只有1.98%
    在这里插入图片描述

应该相信筛查结果吗

到这里你会觉得那些检测设备毫无用处,说是准确率高达99%,其实没啥用。我们还是拿艾滋病来说,发艾滋病的概率实在是小概率事件,所以当我们对一大群人进行筛查时,虽然准确率是99%,但仍然有相当一部分人因为误诊被诊断有艾滋病,甚至误诊数目比实际上真正艾滋病数量还高。
那么怎么样纠正这么高的误诊,根据贝叶斯定理,我们知道提高先验概率,可以有效的提高后验概率。所以解决的办法很简单,就是先锁定可以样本,比如10000人中检查出现问题的那10个人,再独立重复检测一次,因为正常人连续检测两次都出现误诊的概率极低,这时检测出真正的患者的概率就很高了。

这就是为什么艾滋病检测第一次检测呈阳性的人,还需要做第二次验测,第二次依然是阳性的还需要送交国家实验室做第三次检测。

在《医学的真相》这本书举了个例子,假设检测艾滋病毒,对于每一个呈阳性的检测结果,只有50%的概率能证明这位患者确实感染了病毒。但是如果这个医生具有先验知识,先筛选一些高风险的病人,然后再让这些病人进行艾滋病检查,检查的准确率就能提升到95%。

如何在生活中优化你的决策

Google用贝叶斯法则改进搜索功能,帮助用户过滤垃圾邮件;
无人驾驶汽车接受车顶传感器收集到的路况和交通数据,运用贝叶斯定理更新从地图上获得的信息;
人工智能、机器翻译中大量用到贝叶斯定理。

当你告诉小孩子一个新的单词,他开始不知道这个词是什么意思,但是他可以根据当时的情景猜测(先验概率/主观判断),一有机会,他就会在不同的场合下说出这个词,然后观察你的反应,如果你告诉他用对了,他会进一步记住这个词的意思,如果告诉他用错了,他会做出调整(可能性函数/调整因子)。经过这样反复的猜测、试探、调整主观判断,就是贝叶斯定理思维的过程。
在这里插入图片描述
所以,当生活中涉及到预测的事情,用贝叶斯定理的思维可以提高预测的概率。你可以分三个步骤:
1、分解问题
先列出要解决的问题是什么?已知的条件有哪些?
2、给出主观判断
不是瞎猜,是根据自己的经历和学识来给出主观判断,也就是给出先验概率
3、搜集新的信息,优化判断
持续关注你要解决问题的相关信息的最新动态,然后用获取到的新信息来不断调整第2步的主观判断。如果新信息符合这个主观判断,你就提高主观判断的可信度,如果不符合,就降低主观判断的可信度。

比如我们刚开始看到“人工智能是否造成人类失业”这个信息,你有自己的理解(主观判断),但当你学习了一些数据分析,或者看了些这方面的最新进展(新的信息),然后你根据掌握的最新信息优化了自己之前的理解(调整因子),最后重新理解了“人工智能”这个信息(后验概率)。这也就是胡适说的“大胆假设,小心求证“。

《股市心理学》这本书有这么一段话:

克服思维定式的一个有效方法就是不断地进行自我反省,通过回顾自己在过去一段时间里的交易情况和投资成绩,寻找出成功或者失败的原因。
当然,要改变一种即成的投资行为不是一蹴而就的,因为这涉及改变之前的习惯,而这种习惯在过去长期内不断重复和强化所形成的。我们的一些习惯是根深蒂固的情绪模式,除非我们不断作出努力,否则这些习惯模式很难发生改变。
在投资中,股民需要放宽视野,从全局审视市场的变化,要能够灵敏地觉察其中的变化,同时作出反应,还要不断检查自己的决定,推翻自己的错误想法,以开放的心态接受新观点和新证据。

你会发现这其实谈的就是如何用贝叶斯思维去优化你的决策。

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值