利用贝叶斯公式进行推理和决策

在贝页斯出现之前,经典的科学是两级化的,什么是科学? 提出假设,然后验证假设,假设要么被证明,要么被证伪,很少有中间地带。比如,有人说地球是圆的,葡萄牙航海家麦哲伦环球航行成功证明它是对的,亚里士多德说物体越重掉落越快,伽利略比萨斜塔上的铁球实验否定了这种说法。

贝叶斯觉得,现实世界并不是这样黑白分明的,虽然科学是为了得出绝对的真理,了解绝对真实的世界,但也许绝对真实的世界根本不可知。在爱因斯坦之前,按照牛顿经典力学质量和能量各自独立存在且各自守恒,时间和空间是绝对的,爱因斯坦用狭义相对论和广义相对论连续否定了这种看法并给出了更加符合实际的解释,于是相对论取代了经典力学。但是相对论无法解释微观现象,后来量子力学出现,证明了相对论也只是局部真理,到目前为止,还没有人把相对论和量子力学用更高维度的理论统一起来,但谁又能保证,即使有人做到了这一点,就能够确定那个理论是宇宙终极真理了呢?也不能,或许人类所能做到的,只能无限接近绝对真实的世界,而不能真正到达那个中级,科学就是动态接近真实,所以当一个新的证据出现,虽然并不能证实或者证伪一个理论,却可以让我们调整对一个理论 的信任度大小,这就是贝叶斯的思想。

贝叶斯把决策研究的过程从非黑即白变成了黑灰白,贝叶斯告诉人们,我们的观点应该跟随证据的变化而变化,而不是一成不变的,新的证据可以强化或者弱化之前的观点,但不能凭空决定观点。把这种观念抽象成数学符号就是贝叶斯公式。

贝叶斯公式

条件贝叶斯公式的表达:

Pr(T | X\cdot I) =\frac {Pr(T|I)\cdot Pr(X|T\cdot I))}{Pr(X|I)}

Pr(T | X\cdot I) \cdot Pr(X| I ) = Pr(T\cdot X|I)=Pr(T|I)\cdot Pr(X|T\cdot I))

高手都是贝叶斯主义者,因为贝叶斯公式蕴含了人类目前所掌握的最理性的思维方式,利用贝叶斯公式进行推理和决策,将会做出最理性的决定。这是一条蕴含了无穷智慧的公式,也是目前地球上最强势的科学观。

信息推理

信息推理是人们根据观察到的现象反推原因,归纳和演绎是人们获取信息的最重要的两种手段。归纳获取后验概率,也就是在已知结果的前提下,计算不同原因的概率,而不同的原因对于现象的解释能力就是先验概率,演绎推理下,每个原因对结果的解释能力都是100%。

人们首先用归纳推理(贝叶斯原理)获取新的信息和新的知识,总结出新的规律(后验),再根据新的规律,用演绎推理推导出定律,定理(先验)。

为了避免陷入逻辑循环,思维需要一个先验的"根”知识,并将其赋予100%的概率。比如人们定义了自然数公理,自然数公理是无条件的和先验的,然后基于此公里,无数次运用贝叶斯公式,归纳出天是圆的,地是方的,花是鲜艳的,乌鸦是黑的。。。。

比如:

A:我所生活的现实世界

B:乌鸦是黑色的

则根据自然数公理,我们可以得到P(B|A) = 所有我见过的乌鸦中的黑色乌鸦/所有我见过的乌鸦,由于我几乎没有见到过其它颜色的乌鸦,所以得到P(B|A) = 1.

在以后的推理中,A: 我所生活的现实世界几乎是不言而喻的,所以在我看来P(B|A)=P(B)也是不言而喻的,在以后的推到中,我根据自然数公理推到出的后验概率P(B|A)成了我进一步推到其它认知的先验概率P(B). 以后再有人问我,如果有一个没有见过乌鸦的人对我讲它见到了一只黑色的鸟,我就可以继续用之前得到的P(B)作为先验概率继续应用贝叶斯公式计算这只鸟是乌鸦的概率了:

M:见到一只黑色的鸟。

N:这鸟是乌鸦

P(N|M) = P(N)* P(M|N)/P(M) .P(B) = P(M|N) = 100%,所以P(N|M)= P(N)/P(M).

公理

公理是依据人类理性的不证自明的基本事实,公理的先验性质体现在它们不依赖于任何经验证据或观察结果,而是基于人类理性的基本结构和理解世界的固有方式。这种先验性意味着公理是独立于经验存在的,它们是理解和构建知识体系的出发点,为后续的推理和证明提供了基础。

基于贝叶斯方程不断推导,方程右边总会出现一些项是无法用人们现有知识给出答案的,这个时候就需要公理给与的信念。

频率主义和贝叶斯主义

频率主义者认为,概率只有在可重复试验中才有意义。例如,在一副52张牌中随机抽取一张牌时,抽到红桃A 的概率就是1/52(约等于1.92%)。这个概率可以通过多次洗牌并抽取第一张牌来验证。但是,在一些不能重复或者没有明确参考类别 的情况下,频率主义者无法定义或计算概率。

频率主义不能处理一次性或非重复事件的概率,比如历史事件、未来预测或个人决策。它也不能解释我们在日常生活中经常使用的条件概率或贝叶斯定理(Bayes’ theorem),比如根据新证据更新我们对某件事发生的可能性。它还忽略了我们对不确定性有不同程度的信心或信念这一事实,比如我们可能对某件事发生有50%的信心,但是对另一件事发生只有10%的信心。

贝叶斯主义:概率就是信念

贝叶斯主义者认为,概率就是我们对不确定性事件发生的信念程度。这种信念是主观而非客观的,因为不同的人可能对同一件事发生有不同的看法。例如,在2024年美国总统大选中特朗普获胜 的 概 率 可 能 对 他 的 支 持 者 和 反 对 者 来 说 是 不 同 的 。 这 种 信 念 也 是 可 以 改 变 的 , 因 为 我 们 可 以 根 据 新 的 证 据 或 信 息 来 更新 我 们 的 观 点 。 这 就 是 贝 叶 斯 定 理 所 做 的 , 它 告 诉 我们 如何用先验概率 和 后验概率 来 表 示 我们 在 观 察 到 新 数据 前 后 对 不 确 定 性 的 看 法 。

先验概率是归纳的,基于经验的,主观的。

按照贝叶斯主义的观点,概率可以应用于任何不确定性事件,无论是否可重复或是否有明确参考类别。例如,在下周六下雨 的 概 率 就 是 我们 根据 当前 的 天气预报、季节变化、过去经验等因素形成的一个主观判断。如果我们获得了更多或更准确的信息,比如卫星图像或雷达数据,那么我们就可以调整我们对下雨可能性的信念程度。这就是为什么我们在不同时间或地点对同一件事发生的概率可能有不同的看法。

贝叶斯主义可以处理任何不确定性事件的概率,无论是否可重复或是否有明确参考类别。它也可以解释我们如何根据新证据或信息来更新我们对不确定性的信念,这是我们在日常生活中经常做的事情。它还可以反映我们对不确定性有不同程度的信心或信念,比如我们可以用概率分布(probability distribution)来表示我们对某件事发生的可能性范围。

贝叶斯主义也有一些缺点。它需要我们为每个不确定性事件指定一个先验概率,这可能是主观而非客观的,并且可能受到个人偏好或信念的影响。它也需要我们能够获取和处理大量的数据和信息,以便计算后验概率,这可能是困难而非容易的,并且可能受到噪声或误差的影响。它还需要我们能够区分真实和虚假的证据或信息,以避免被误导或欺骗。

概率中既有客观的成分,也有主观的成分。

举例:

以工程师分析问题的场景为例,根据贝叶斯公式,定义如下事件:

A:问题是软件问题。

B:问题是硬件故障引发。

C:故障发生了。

我们观察到的现象首先是C,故障确实发生了,发生故障的原因包括软件问题和硬件问题,通常我们的思维习惯让我们选择解释能力最强的原因作为故障发生的最可能的原因,所以先看一下哪个原因对故障的解释能力最强,用条件概率:

软件问题并不一定会直接导致故障,大部分的时候,软件出现的并非是致命BUG,所以定义P(C|A) = 20%.

而如果硬件发生了问题,则基本上能够确定,一定会导致故障发生,所以:

P(C|B) = 100%.

因为P(C|B) = 100%,硬件发生故障的解释能力最强,如果不用贝叶斯的观点思考,所以我们很可能会选择解释能力最强的原因作为发生故障的原因。但是这样做是不对的,因为忽略了很重要的一个因素,工程师面临的大部分问题都是软件问题而非硬件问题,硬件发生问题的基础概率本来就是很低的。

通常硬件出场都经过严格的测试和筛选,所以一般来讲,当发生问题,工程师一般倾向于软件的出问题的概率较大,所以会给P(A)一个较大的先验概率,比如根据工程师的经验,现实中99%的问题都是软件问题,所以:理性的思维方式是怎样的呢?我们用贝叶斯公式思考一下:

工程师根据经验,估计出硬件发生故障的概率为 P(B) = 1-P(A) = 1%,

而一旦硬件异常,发生故障的概率是100%,所以 P(C|B) = 100%.

假设100台机器有三台出现故障,则P(C) = 3%

Pr(B|C) = \frac{Pr(B) Pr(C|B)}{Pr(C)} = 1/3

可以看到,虽然硬件故障对发生问题的解释能力最强,但是当我们观察到故障C时,发生故障的原因B的逆概率只有33%,显然软件问题的概率要比硬件大很多。

问题还没有完,工程师经过仔细分析发现,这100台机器是同一批次的机器,并且用同样的软件每次测试,发生问题的总是这三台,也就是说观察到了新的现象D:

D:问题在不同的硬件平台上现象不一致,只有固定的三台机器出现,其余97台机器正常。

现在工程师i获取了新的观察D,虽然软件问题有非常大的基础概率,但是当我们观察到某个问题在不同的硬件上表现不一致的时候,大脑便开始修正看法。我们会想, 虽如果现在发现事件D发生了,那么问题是软件问题的概率有多大?基于贝叶斯公式继续推导:

P(B|D)表示在获取新的故障和硬件有关的信息后,故障是硬件问题的概率,显然这个概率应该比之前没有观察到D时的大很多,我们设置为90%,P(C|B*D)仍然是100%。Pr(C|D)表示当观察到D的时候,C的概率,显然是1,此时再次计算硬件发生故障的概率:

Pr(B|C\cdot D) = \frac{Pr(B|D) Pr(C|B\cdot D)}{Pr(C|D)} = 90\%

也就是说,在获取信息D后,问题是硬件问题的概率从33%提高到了90%,此时需要纠正调查方向,将调查重点转移到硬件出问题的方向上来。

所以可以看到,即便软件BUG有相当大的基础概率(99%),但是当我们观察到新的与硬件极度相关的现象时,需要更新我们对贝叶斯公式右边的置信度,得到新的逆概率,我们需要更新我们的信念。大部分工程师在工作过程中已经自然而然养成了贝叶斯的思维习惯,所以这个推到过程是大脑自然而然进行的,我们察觉不到。

所以经过贝叶斯分析,这个问题最终更像是硬件问题,为了提高解决问题的效率,应该让尽快让硬件工程师接入排查,而非在软件排查上浪费时间。

或许这也是贝叶斯主义者是学习的高手的原因之一,贝叶斯主义者是长期主义者,他们从事件中获取新的信息,利用新的信息不断更新自己的知识储备,获取新的生存经验和技能,用自动控制系统的语言来讲,这是一个正反馈的过程:

例子2,买电车还是油车?

如果在路上看到一辆正在自燃的车,不看牌子,你认为正在燃烧的是国产电瓶车还是油车?

A:路上看到一辆自然的汽车.

B: 这辆车是国产电瓶车

我们算一下P(B|A)的后验概率:

Pr(B|A) = \frac{Pr(B)\cdot Pr(A|B)}{Pr(A)}

鉴于国产电瓶车不堪的黑历史,给予P(A|B)较大的置信度,所以得到的P(B|A)自然也比较大,所以,如果你在马路上遇到一辆正在自然的汽车,那么这辆车是国产电瓶车的概率比较大。另外注意,停车最好不要停在电瓶车旁边,因为倒霉会传染,黑心资本家的游戏,小民最好不要凑热闹。

例子3-看一个悲惨的例子

A:被判死刑杀害的人

B:无辜的人

P(B|A) = \frac{P(A)\cdot P(B|A)}{P(A)}

根据你对SH的认知度,这个概率肯定不为0.

偏见必不可少

贝叶斯公式关心的是逆概率而不是似然度:

P(现象|原因)通常被称为似然度,它表示原因对现象的解释能力,P(原因)叫做先验概率,你可以认为它代表贝叶斯的“偏见",先验概率就是偏见.

转换一下形式:

可以看出,后验概率等于先验概率乘以一个因子,这个因子就是上图中乘号后面的分式,当原因对现象的解释能力小于现象本身的概率的时候,或弱化先验概率,也就是新概率的出现使预先判断的原因更不可能,相反,如果原因对现象的解释能力大于现象本身出现的一般概率的时候,先验概率会得到加强。

比如飞机遇到气流的情况下出现颠簸的概率大于出现颠簸的概率,所以飞机遇到气流的原因会得到增强。

而飞机失事的的先验概率非常低,即便后面的因子远远大于1(分子为100%),先验概率得到加强,但是仍然是远远小于遇到气流下的颠簸概率。所以当飞机出现颠簸的时候,宁可相信是气流的原因。

这个公式说明,某个原因对现象的解释能力强,表现在因子大于1,会加强先验概率,反之,会弱化先验概率。

观察到新的证据之后更新的原因概率P(原因|现象)叫做后验概率,

在推理中,偏见必不可少,主观不随意,没有偏见,将得不出任何结论:

P(B|A) = \frac{P(B)\cdot P(A|B)}{P(A)} = \frac{\frac{1}{2}\cdot \frac{1}{2}}{\frac{1}{2}} = 1/2

如果你知道一个人是骗子,那么无论这个骗子讲的是什么,你都无从得到任何有价值的信息,所以,合理的,归纳的, 总结的 “偏见”必不可少。

远离身边的阴谋论者

能够解释一个现象的原因非常多,每个人会根据自己的经验赋予每个原因不同的先验概率,而且一开始的时候数据会非常少,所以理智的人不会轻易下结论,而是利用新的到的数据得到原因在对新的证据的似然概率,不断的更新贝叶斯公式,得到每个原因的后验概率。随着证据越来越多,最终最可能的原因就会出现。这个过程不需要任何的争论,只要保持开放的态度,总能得到一个一致的结论,这才是符合理智和科学精神的态度。而不是非要选择一个站队,立场决定一切,拒绝相信任何新的证据。

阴谋论为什么很无赖,因为它的立场赋予了它对所有现象的置信度都是100%,随便扯淡编一个阴谋论出来,在这些专家叫兽狗东西的认知范围内,能够解释它认知范围内的所有事情,而且即便有新的信息更新,由于先验概率已经打满,也就可以继续用它们的阴谋论的观点解释新的现象,所以它们也可以拒绝接受所有的新证据输入。

用阴谋论的观点对贝叶斯公式的先验概率赋予100%,带入公式计算,你会发现得到的后验概率也是100%,所以虽然阴谋论无知又无耻到可笑有相当多的人相信也就不足奇怪了。对于缺乏逻辑教育的人,你可以认为他傻,是阴谋论的受害者,但是对于受过逻辑教育,仍然吹捧阴谋论的人,你只能认为它是骨子里的坏,阴谋论只是它拿捏人性的工具。

笨蛋总是无比自信,智者始终怀疑,阴谋论者非蠢即坏,但作为人性动物园的一个品种,阴谋论者让人们看到人可以蠢和坏到什么地步,作为反面教材,存在也有其合理性。

大数据和AI时代,人们可以从不同渠道获取大量的数据,从而获取一个相对准确的"先验概率",人们不再那么容易"受骗"了。


参考

百度安全验证

百度安全验证

结束

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

papaofdoudou

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值