MAP、SRM、ERM与MLE

最大似然与经验风险最小化

当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计

首先给出对数形式的ERM的公式：

$$\min \frac{1}{n}\sum\limits_{i=1}^n L(y_i,p(y_i\mid x_i))$$

其中$L(y_i,f(x_i))$是损失函数，输出预测值为$f(x_i)$，n是观察到的样本数。

---

最大似然的前提是从模型总体随机抽取样本观测值，所有的采样都是独立同分布的。

假设$x_1,x_2,...,x_n$为独立同分布的采样，$\theta$为模型参数，f为我们使用的模型，我们使用条件概率分布，遵循独立同分布。假设我们需要根据观察数据$x$估计没有观察到的总体参数$\theta$：

$$f(x_1,x_2,...,x_n \mid \theta)=f(x_1 \mid \theta)\times f(x_2 \mid \theta)\times...\times f(x_n \mid \theta)$$

此时似然定义为：

L(θ∣x1,x2,...,xn)=P(x1,x2,...,xn∣θ)=∏i&