一 序
本文属于极客时间,概率论学习笔记。概率论也是观察世界的一种方式。因为之前NLP训练营讲过这部分内容,所以有些可以结合那部分笔记去看。
二 基本定义:
自然界有必然现象与随机现象。
随机现象在相同的条件下,大量重复试验中呈现的规律性成为统计规律性。
从事件发生频率认识概率的方法被称为‘频率学派’。再概率的定量计算上,频率学派依赖的是古典概率模型。表达式:
条件概率:
条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。
条件概率有很多知名的例子,比如:红球蓝球试验 ,布袋里有 2颗蓝色球和 3颗红色球。每次随机从布袋里拿一颗,记住拿完球就不放回布袋了。连续2次拿到 蓝球的概率是多少?
因为有个条件拿完球就不放回去了,第1次拿球的结果,会影响第2次拿球的概率,所以这不是独立的 ,相互影响的,就是条件概率的场景。
其中 是联合概率,表示事件A、B共同发生的概率,当A、B两个事件满足
则称事件A 和事件 B 独立。
从条件概率到全概率公式
“全”字的意义在于:全部的概率 被分解成了许多的部分概率之和。
全概率公式的实际价值在于,很多时候,我们直接去计算事件A 的概率是比较困难的,但是如果条件概率 是已知的,或者容易计算。全概率公式就成了计算概率
的好办法。
贝叶斯公式
根据前面的条件概率,可以推导:
=>
这不仅仅是数学式子的推导,还描述了先验概率与后验概率之间的关系,
我们可以把事件A看成是结果,把事件 看成是导致这个结果的各种可能的原因。
前面的全概率公式就是由各种原因推理出结果事件发生的概率,是由因到果;
然而更多的场景是观察到某种现象,然后去反推造成这种现象的各种原因的概率。就是由果推因。
贝叶斯公式求得的就是条件概率,就是在观察到结果事件A已经发生的情况下,我们推断结果事件A是由原因
造成的概率的大小.
单纯的概率 我们叫做先验概率,指的是在没有别的前提信息情况下的预先假设的概率值,这个值一般需要借助我们的经验估计得到。
叫后验概率,指在获得了信息 A之后
出现的概率,可以说后验概率是先验概率在获取了新信息之后的一种修正。
叫似然概率,指假设成立的前提下观测到 结果的概率。
两大学派的不同:贝叶斯学派认为固定的先验概率是不存在的,参数本身也是随机数。就是说数据 的作用就是对假设做出不断的修正,是观察者对于概率大的主观认识更加接近于客观实际。
关于两派的区别,知乎上很多大佬给出了更好的解释。https://www.zhihu.com/question/20587681
概率 的估计有两种方法:最大似然估计(Maximum Likelihood Estimate)与最大后验概率估计(Maximum A Posteriori estimation)
通常的任务:就是根据已知的一堆数据样本,来推测产生该数据的模型跟参数。
最大似然估计 MLE
频率学派模型参数估计的常用方法,似然就是概率(可能性),要最大化该事件发生的可能性。
最大后验概率估计MAP
贝叶斯派模型参数估计的常用方法。最大化在给定数据样本的情况下模型参数的后验概率,随着数据量的增加,参数分布会更倾向于向数据靠拢,先验假设的影响会越来越小。
逻辑回归(LR)时,
贝叶斯定理与人类的认知机制更吻合,在机器学习里也应用更加广泛。
三 随机变量
这里不做严格数学意义的介绍函数定义。
根据取值空间的不同,分为离散随机变量(例如掷硬币就是一个典型的离散数据) ,与连续随机变量(比如时间)。
描述离散型数据的概率分布叫做概率质量函数(Probability mass Function),描述连续型数据叫做概率密度函数(Probability Density Function)。
概率密度函数 并非连续型随机变量的真实概率,而是不同取值和可能性之间的相对关系。
常见的离散概率分布:
二项分布 泊松分布 几何分布
连续概率分布
正态分布
每一项都可以单独写一篇,以二项分布为例:
做某件事次数是固定的,用n表示
每一次事件都有两个可能的结果(成功,或者失败)
每一次成功的概率都是相等的,成功的概率用p表示
要计算的成功x次的概率是多少
通项公式:
//todo 吧,把这些公式都整理一编。
除了上面的概率密度函数外,还有描述随机变量特征的参数是数字特征,包含:数学期望、方差、协方差。
参照之前整理的。