机器学习笔记---从极大似然估计的角度看待Logistic回归

前言

看完极大似然估计后，想起Logistic回归中的参数估计就是使用这个方法，因此详细的记录整个推导的过程。【公式可以移动，若不能，可以切换横屏】
本文约1.4k字，预计阅读10分钟

Logistic 回归

建模

考虑一个二分类任务，输出标签为 。但是线性回归模型产生的预测值是一个实数：

因此需要将 转化为0/1的值。最简单的就是一个单位阶跃函数：

但由于单位阶跃函数不连续，故无法作为一个预测值到0/1的联系函数【不可微，无法使用常见的优化算法进行优化】。我们需要的是一个可以代替的单调可微的函数，因此就有了机器学习中经常提到的对数几率函数（Sigmoid 函数，函数形似S）：

它将预测值