LR loss 的深入理解-3种
1、首先了解一下三种不同的loss函数
平方损失:
交叉熵(最大似然损失函数)
在教科书中,似然常常被用作“概率”的同义词。但在统计学中,二者截然不同。
概率描述了已知参数时的随机变量的输出结果;似然则用来描述已知随机变量时,
未知参数的可能取值。
例如,对于“一枚正反对称的硬币上抛十次”这种事件,我们可以问硬币落地时十次都是正面向上的“概率”是多少;而对于“一枚硬币上抛十次,落地都是正面向上”这种事件,我们则可以问,这枚硬币正反面对称的“似然”程度是多少
2、交叉熵与最小二乘的区别
交叉熵:凸优化问题,参数更新公式如下
最小二乘:非凸问题,在接近0和1的地方梯度极小 不容易学习,但是对异常值更鲁棒,参数更新公式如下