课程来源
知乎live-贝叶斯概率思维
目录
- 贝叶斯概率
- 贝叶斯定理
- 贝叶斯估计
- 贝叶斯网络
- 推荐书籍
- 涉及名词
前言
规则VS统计
基于规则的理性主义:如专家系统
基于统计的经验主义:如贝叶斯
基于规则需要专业知识体系,容易定义,但通用性不高。
基于统计则需要数据,并且相关性容易造成误导。
规则-演绎(柯南破案)
经验-归纳(神农尝百草)
贝叶斯思维
频率派VS贝叶斯派
频率派
通过长期、大量、重复实验:发生的频率(大数定律)
参数是常数
概率是客观存在的常数
贝叶斯派
信则有,不信则无
参数是随机变量
贝叶斯概率
先验概率:P(A)
后验概率:P(A|B)(已知B的前提下对A的信念)
贝叶斯定理
贝叶斯定理:
P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A|B) = \frac{P(B|A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)
已知先验,计算后验
通俗解释
问题:白马上坐着的不一定是王子,还可能是唐僧。那么,如何确定是王子还是唐僧。
P(A): 已知白马上坐着的可能是王子,也可能是唐僧。
P(B|A): 坐着的是王子时,后边大概率跟着的是仪仗队。如果是唐僧,后边跟着的大概率是三个徒弟。这样就可以根据白马后的场景(P(B))来判断白马上坐的是谁(P(A|B))
频率派和贝叶斯派的比较
对于一种病来说,如果药物对病症的有效率有95%,但是对非病者有5%的中毒率,那频率派认为这个药是可以使用的。但是如果这个病是罕见病,则贝叶斯定理会得出一个很小的数。因为P(A)太低了。对正常人来说,虽然中毒率低,但是基数过大,因此对最后结果有很大的影响。
贝叶斯估计
最大似然估计
最大似然估计(频率派思维)
参数: p a r a m e t e r = θ parameter = {\theta} parameter=θ
数据: D =