【For非数学专业】通俗理解似然函数、概率、极大似然估计和对数似然

1. 似然函数与概率

1.1 似然函数与概率的初步认识

       似然函数，在机器学习的算法模型中，可以说是“老熟人”了，虽然总感觉自己已经掌握了这个概念，但是每次遇到具体的情况时，发现还是难以说清楚，于是根据wiki上关于Likelihood function的解释，以及个人的学习理解，整理笔记如下：

       在统计学中，似然函数（或简称似然）是一个基于给定数据模型参数的特殊函数，似然(likelihood)与概率(probability)所表示的意义是完全不同的，具体如下：

在给定参数值的情况下，概率用于描述未来出现某种情况的观测数据的可信度。
在给定观测数据的情况下，似然用于描述参数值的可信度。

       听起来可能会觉得摸不着头脑，先不着急，待我给出似然的定义之后，我们再来结合具体实例来理解上面的两句话。

1.2 似然的定义

       根据概率的分布属于离散型还是连续型，似然函数的定义也略有不同，下面分别进行说明：

（1）对于离散型变量

       假设X是一个离散型的随机变量，它的概率分布p取决于参数θ，那么它的似然函数定义为：

$$L(\theta |x)=p_{\theta }(x)=P_{\theta }(X=x)=P(X=x|\theta )=P(X=x;\theta )$$      【注】其中$L(\theta |x)$ 为 $L(\Theta =\theta |X=x)$ 的缩写，它表示基于给定的X=x，我们认为参数Θ=θ的似然（可信度），它的值则等于基于给定的参数Θ=θ，我们预测出现X=x的概率（可信度）（概率有好几种表达方式，这里全部列举了出来…）

（2）对于连续型变量

       假设X是一个连续型的随机变量，它的概率分布是一个概率密度函数f（f取决于参数θ），这时它的似然函数定义为：
L ( θ