【机器学习】贝叶斯概率思维笔记

课程来源

知乎live-贝叶斯概率思维

目录

• 贝叶斯概率
• 贝叶斯定理
• 贝叶斯估计
• 贝叶斯网络
• 推荐书籍
• 涉及名词

前言

规则VS统计

基于规则的理性主义：如专家系统
基于统计的经验主义：如贝叶斯
基于规则需要专业知识体系，容易定义，但通用性不高。
基于统计则需要数据，并且相关性容易造成误导。
规则-演绎（柯南破案）
经验-归纳（神农尝百草）

贝叶斯思维

频率派VS贝叶斯派

频率派

通过长期、大量、重复实验：发生的频率（大数定律）
参数是常数
概率是客观存在的常数

贝叶斯派

信则有，不信则无
参数是随机变量

贝叶斯概率

先验概率：P(A)
后验概率：P(A|B)（已知B的前提下对A的信念）

贝叶斯定理

贝叶斯定理：
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$
已知先验，计算后验

通俗解释

问题：白马上坐着的不一定是王子，还可能是唐僧。那么，如何确定是王子还是唐僧。
P(A): 已知白马上坐着的可能是王子，也可能是唐僧。
P(B|A): 坐着的是王子时，后边大概率跟着的是仪仗队。如果是唐僧，后边跟着的大概率是三个徒弟。这样就可以根据白马后的场景（P(B)）来判断白马上坐的是谁（P(A|B)）

频率派和贝叶斯派的比较

对于一种病来说，如果药物对病症的有效率有95%，但是对非病者有5%的中毒率，那频率派认为这个药是可以使用的。但是如果这个病是罕见病，则贝叶斯定理会得出一个很小的数。因为P(A)太低了。对正常人来说，虽然中毒率低，但是基数过大，因此对最后结果有很大的影响。

贝叶斯估计

最大似然估计

最大似然估计（频率派思维）
参数：$parameter=\theta$
数据: D =