统计学习方法-- 当模型为条件概率模型，损失函数为对数损失函数，极大似然估计 就是经验风险最小化的一个例子

声明: 以下图片全都来自 李航老师 统计学习方法第二版，个人只是读后感:

首先来看对数损失:

再看 经验风险最小化公式:

 结论: 当模型为条件概率模型，损失函数为对数损失函数，极大似然估计 就是经验风险最小化的一个例子。

极大似然估计:

假设模型参数的分布为均匀分布，求解一模型参数，使得观测值D(D为数据集，所以下面式子简单写了，如果是单个样本则为连乘)，出现的概率最大：

求解上式(同时也是 对数损失函数的由来)

 为了简化运算  对于连乘 的处理办法，就是加log，同时机器学习中一般求解的都是最小，所以添加负号，最终就构成了下图( 把L(y,f) 换为 对数损失函数):

 

 上图也就是,经验风险最小化公式，由于凑出了经验风险最小化 的形式，所以也具备了 经验风险最小化公式的特性:

如有错误，可直接在评论区指出，互相学习，我也是个初学者。