为研究 LDA 所做的数学储备,虽然之前已经学习过一定的相关知识,但是没有总结过。
先验概率
所谓先验概率,就是根据已有的知识,主观上对一件事情发生的可能性的推测。我以前理解先验概率的是,事件发生的概率是客观的,无法改变的。比如投掷硬币,如果随机抛掷一枚均匀的硬币,那么正反面朝上的概率均为 12 。但是现在看来,随机抛掷,硬币均匀,这些都是我们已经知道的知识。所以没有什么是客观的,一切都取决于主观对客观的观测条件。
在贝叶斯统计中,先验概率分布,即关于某个变量
X
的概率分布,是在获得某些信息或者依据前,对
注:不确定性和随机性是包含关系,不确定性包含随机性。随机性是在事件发生之前,可以预知可能发生的所有结果,但是事件发生前是不会知道确切哪种结果会发生。而不确定性是连可能发生的结果都不确定。
后验概率
所谓条件概率,就是在先验的基础之上,又补充了一些信息和经验,由于新补充进来的信息会导致概率发生变化,所以变化后的概率被称之为后验概率。比方说我买彩票,随机买中奖的概率是
P(X)
,但如果有人告诉我,中奖的号码开头都是1,把这个信息记为
A
,那么在得知这个信息后,我买彩票的中奖概率一定大大提升,新的概率为
后验概率是关于随机事件或者不确定性断言的条件概率,是在相关证据或者背景给定并纳入考虑之后的条件概率。后验概率分布就是未知量作为随机变量的概率分布,并且是在基于实验或者调查所获得的信息上的条件分布。“后验”在这里意思是,考虑相关事件已经被检视并且能够得到一些信息。
似然函数
统计学中,似然函数是一种自变量是统计模型的参数的函数。给定输出x时,关于参数
θ
的似然函数
(θ)
(在数值上)等于给定参数
θ
后变量
X
的概率
所谓概率,就是对于一个函数,在给定参数
θ
的情况下,一个观察值发生的可能性。
所谓似然,就是对于一个函数,在给定观察值的情况下,函数参数是某组参数
θ
的可能性
但是为啥似然就是等于给定
θ
后变量的概率呢?
假设某一事件
X
,我们对其抽取
上面这个公式里,
x1,x2,...,xN
都是已知的变量,那么唯一未知的就是参数
θ
,所以其实P就是关于
θ
的函数,我们换个记法,
(θ)
。
在极大似然里,我们认为当前模型的的参数
θ
应该满足
(θ)
在
X={x1,x2,...xN}
时取到最大值,所以
′(θ)=0
似然函数与后验概率的关系
后验概率数值上是模型参数
θ
在给定观察值X下的概率
似然函数数值上是观察值X在给定模型参数
θ
下的概率
我们说后验概率可以通过观察值X来推断 θ ,但是后验概率是没法像先验概率那样可以直接算出来。所以贝叶斯定理告诉我们 后验概率 ∝ 似然 × 先验概率