【基础知识-概率论】似然、似然函数、极大似然估计（最大似然估计）

似然(likelihood)和似然函数(likelihood Function)

概率(Probability)

在已知一些参数的情况下，预测接下来结果的可能性

在结果产生之前，通过环境中的参数，预测事件发生的概率

例：抛硬币

1. 假定硬币的材质均匀，其抛出落地结果为正面和反面的概率都是0.5
2. 这个概率在结果发生前才有意义，在发生后，抛硬币的结果就确定了

似然

跟概率相反，用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估值

基于已经确定的结果，来推测产生这个结果的可能环境，或环境中的某些参数的过程

例：抛硬币

1. 随即抛出硬币1w次；8k次人像在上，2k次荷花在上
2. 推测这个硬币：得到人像的概率为0.8；得到荷花的概率为0.2

概率VS似然

1. 在条件θ的情况下，事件x发生的概率

概率是事件x的函数

$$P\left(x|\theta \right)$$

2. 在条件事件x的情况下，去推断θ的可能性

似然是参数θ的函数

$$L\left(\theta \right|x)$$

3. 数值上，两者有如下关系

$$P\left(x|\theta \right)=L\left(\theta \right|x)$$

• 似然和概率表示不同的意义，似然不一定介于0-1，似然值的总和也不一定是1
• 单独的似然值没有意义，似然值L是用来对比在各种θi下，哪种θi更接近与引发事件x的真实的“θ”

似然函数

$$L\left(\theta \right|x)$$

似然函数除了可以用于计算似然之外，还可以了解当θ变化的时候，似然怎么变化，用来确定最大可能性的θ值会是多少

极大似然估计（最大似然估计）(Maximum Likelihood Estimate)

利用已知的样本标记结果，反推最具有可能或者最大概率导致这些样本结果出现的模型参数。

是一种已知观察数据，来推断模型参数的过程

已知事件x，推断当θ为什么值的时候，发生事件x的概率最大，就是极大似然估计

例：抛硬币

1. 10次实验，抛硬币，结果如下，可得似然函数为：

2. 根据似然函数，可知当θ=0.7的时候，本次实验有最大的发生概率

3. θ=0.7可能并不是该硬币的真实θ，但是在该实验下，θ=0.7是最大似然估计的结果
4. 若想要得到更精确的θ值，可以增加试验次数

机器学习

极大似然估计的过程对应某些机器学习算法的参数估计过程, 例如变分自编码器VAE