深度学习基础----损失函数与最大似然

极大似然

分类模型就是求先验的概率. 极大似然即在某套参数下, 使得该先验概率的值最大. 为计算方便, 我们往往求的是负对数似然的最小值

损失函数的具体形式会随着建模数据的分布类型变化而变化

 

MSE和线性回归

1.假设数据服从高斯分布, 在所有数据上的似然就是单个点先验的连乘

2.通过最小化数据的负对数似然以最大化数据的似然函数

3.即发现实际需要最小化的是MSE

交叉熵和逻辑回归

1.在二分类问题中, 数据满足伯努利分布

2.通过最小化数据的负对数似然来最大化数据的似然函数

3.即发现实际需要最小化交叉熵损失

交叉熵和多分类模型

1.在多分类问题中, 目标数据满足Multinoulli分布

2.通过最小化数据的负对数似然来最大化数据的似然函数

3.即发现需要最小化的是交叉熵损失函数