概率统计 (一): 极大似然估计和最大后验估计

前言

国内有很多关于这个主题的博客, 但我都看不懂, 感觉他们在说废话.

什么是估计

线性回归, 逻辑回归, 神经网络… 这些模型都需要数据来进行训练, 从而优化自己的参数. 估计就是这个意思, 通过数据来确定概率模型的参数, 只不过估计是用来优化概率模型而非机器学习模型.
因此,
估计就是这样一个函数, 它的参数是样本数据和模型类别, 返回值是这个模型的最优参数. 个人认为它和机器学习模型的训练是一个意思.

怎么估计

估计两大主流方法: 极大似然估计和最大后验估计. 下面分别介绍.

极大似然估计

首先, 概率模型是什么?
概率模型表示的是一个变量或者一个事件它对每一个可能取到的数值的可能性, 他是一个数学式, 有两个未知量分别是数值 $x$ 和模型参数 $\theta$. 输出的是在该参数条件下随机变量取值为这个数值的概率, 可以表示为 $P(X=x|\Theta =\theta )$, 简写为 $P(x|\theta )$.
因此,
对于我们手头上的样本数据 { x 1 , x 2 , . . . , x n } \{x_1, x_2, ..., x_n\} { x1​,x2​,...,xn​}, 和手头上的模型 $P(x|\theta )$, 将所有样本数据带入模型, 可以得到 $n$ 个关于 $\theta$ 的一元方程, 也是每个样本数据对应的概率 (刚才说过, 概率模型就是输入一个样本数据输出一个对应的概率).
我们假设所有样本数据彼此独立, 那么也就是说这些样本数据同时出现的概率是他们各自概率的乘积, 此时我们定义这个乘积为似然函数 $L$, 即

$L=P(X|\theta )={\prod }_{i=1}^{n}P(x_i|\theta )$

它也是一个关于 $\theta$ 的一元方程, 极大似然估计的思想就是, θ \theta