MSE是高斯分布的最大似然;
CE是多项式分布的最大似然;
对于回归任务
高斯分布的概率密度函数:
假设误差服从均值为零的高斯分布,对可观测样本集Y,其对数似然:
对于分类任务
单标签多分类任务->多项式分布的概率质量函数:
其对数似然:
机器学习中one-hot编码 的项乘积为0,只考虑 ,简化为:
约束条件
一般网络输出后接softmax
所以分类任务用交叉熵损失,回归任务用均方误差。
MSE是高斯分布的最大似然;
CE是多项式分布的最大似然;
对于回归任务
高斯分布的概率密度函数:
假设误差服从均值为零的高斯分布,对可观测样本集Y,其对数似然:
对于分类任务
单标签多分类任务->多项式分布的概率质量函数:
其对数似然:
机器学习中one-hot编码 的项乘积为0,只考虑 ,简化为:
约束条件
一般网络输出后接softmax
所以分类任务用交叉熵损失,回归任务用均方误差。