最大后验估计_最大化似然函数与最小化损失函数的关系

之前多次遇到这个问题，每次都是一知半解的状态。今天下决心，一定要把它梳理清楚。经过学习，我按照自己理解的思路进行整理，若有不正确的地方望指正。

1. 相关概念

首先，我们要明确经验风险最小化、结构风险最小化、最大化似然估计，以及最大化后验概率等相关概念。给定一个训练数据集

• 经验风险

模型

关于训练数据集的平均损失称为经验风险。经验风险最小化（Empirical Risk Minimization，ERM）认为经验风险最小的模型是最优的模型，公式如下：

• 结构风险

结构风险在经验风险上加上表示模型复杂度的正则化项或罚项。结构风险最小化（Structural Risk Minimization，SRM）是为了防止过拟合而提出来的，

是模型的复杂度，