极大似然
分类模型就是求先验的概率. 极大似然即在某套参数下, 使得该先验概率的值最大. 为计算方便, 我们往往求的是负对数似然的最小值 |
损失函数的具体形式会随着建模数据的分布类型变化而变化 |
MSE和线性回归
1.假设数据服从高斯分布, 在所有数据上的似然就是单个点先验的连乘 |
2.通过最小化数据的负对数似然以最大化数据的似然函数 |
3.即发现实际需要最小化的是MSE |
交叉熵和逻辑回归
1.在二分类问题中, 数据满足伯努利分布 |
2.通过最小化数据的负对数似然来最大化数据的似然函数 |
3.即发现实际需要最小化交叉熵损失 |
交叉熵和多分类模型
1.在多分类问题中, 目标数据满足Multinoulli分布 |
2.通过最小化数据的负对数似然来最大化数据的似然函数 |
3.即发现需要最小化的是交叉熵损失函数 |