逻辑回归损失函数与最大似然估计

机器学习的损失函数是人为设计的，用于评判模型好坏（对未知的预测能力）的一个标准、尺子，就像去评判任何一件事物一样，从不同角度看往往存在不同的评判标准，不同的标准往往各有优劣，并不冲突。唯一需要注意的就是最好选一个容易测量的标准，不然就难以评判了。

其次，既然不同标准并不冲突，那使用最小二乘作为逻辑回归的损失函数当然是可以，那这里为什么不用最小二乘而用最大似然呢？请看一下最小二乘作为损失函数的函数曲线：

 

最小二乘作为逻辑回归模型的损失函数，theta为待优化参数

以及最大似然作为损失函数的函数曲线（最大似然损失函数后面给出）：

 

最大似然作为逻辑回归模型的损失函数，theta为待优化参数

很显然了，图2比图1展现的函数要简单多了，很容易求到参数的最优解（凸函数），而图1很容易陷入局部最优解（非凸函数）。这就是前面说的选取的标准要容易测量，这就是逻辑回归损失函数为什么使用最大似然而不用最小二乘的原因了。

以上是这个问题的答案，下面来推一下逻辑回归中最大损失函数到底是怎么来的，因为我看到很多地方只是说了一下用到最大似然的方法，就直接给出了最终的形式，还看到有书里面过程搞错了，也给出了最终的正确形式。

既然是最大似然，我们的目标当然是要最大化似然概率了：

对于二分类问题有：

 

用一个式子表示上面这个分段的函数为：(记得写成相乘的形式)：

 

代入目标函数中，再对目标函数取对数，则目标函数变为：

 

如果用hθ(xi)表示p0，1 - hθ(xi)表示p1，将max函数换成min，则得到最终形式：

作者：茄子cheer
链接：https://www.jianshu.com/p/699a13c9a253
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。