似然函数，概率分布

似然函数是一种关于统计模型函数的函数，表示模型参数中的似然性。

似然常被用作概率的同义词。似然用来描述已知随机变量输出结果时，未知参数的可能取值。

最大似然估计

    似然的概念与概率类似，但是又很不相同。假如随机变量X服从某种分布（比如高斯分布），概率是指在给定参数（均值，方差）的条件下，X=x的可能性；而似然则指X=x的条件下，某一组参数反映了X=x的真实性大小。

   最常见的应用是最大似然估计，假设有N个数据点，服从某种分布Pr(x;θ),我们想找到一组参数θ，使得生成这些数据点的概率最大，这个概率就是

称为似然函数（likelihood function).通常单个点的概率很小，联乘之后数据会更小。容易造成浮点数下溢，所以一般取其对数，变成

称为log-likelihood function.接下来就可以求导，然后求得使得上面式子值最大的参数θ。我们认为取得这些观察值的可能性是很小的，但是参数θ却使得这一切以最大可能性的发生了。

高斯分布

 

高斯分布又叫正态分布，钟形曲线，是一种最常见的分布形式。高斯函数有两个参数：均值，方差。均值决定密度函数图形的位置，方差决定了其胖瘦（方差越大越胖），搞死分布的密度函数图形有以下特点：

集中性

对称性

均匀变动性

若随机变量X服从一个位置参数为 ，尺度参数为 的概率分布，其概率密度函数是为

则这个随机变量就称为正态随机变量，正态随机变量服从的分布就称为正态分布，记作 ，读作X服从 

或X服从正态分布。

下面的曲线图还反映了高斯分布的其他一些特性

标准正态分布：当  时，正态分布就成为标准正态分布

若原分布服从正态分布，则Z=(x-μ）/σ ～ N(0,1） 就服从标准正态分布。

 

概率分布，

   是指用于描述随机变量取值的概率规律。事件的概率表示了一次试验中某一个结果发生的可能性大小。若要全面了解试验，则必须知道实验的全部可能结果及各种可能结果发生的概率，即随机试验的概率分布。如果实验结果用变量x的取值来表示，则随机试验的概率分布就是随机变量的概率分布，即随机变量的可能取值及取得相应值的规律。根据随机变量所属类型的不同，概率分布取不同的表现形式。