机器学习——逻辑回归模型

逻辑回归—考虑二分类任务，其输出标记，而线性回归模型产生的预测值是实值，于是，我们需将实值转换为0/1值。最理想的是“单位阶跃函数”，即若预测值大于零就判为正例，小于零则判为反例，等于零则可任意判别。

但是单位阶跃函数不连续，不便于求导估计参数值。于是我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”，并希望它单调可微。

Sigmoid函数

它将值转化为一个接近0或1的值，并且其输出在附近变化很陡。由此可以看出Sigmoid函数实际上是在用线性回归模型的预测结果去逼近真实标记，不仅能预测出“类别”，还能得到样本被划为正例或反例的概率。

假设样本类别的概率预测如下：

其中为样本，为样本真实输出，；

以上两式也可整合成一个式子：

通过“极大似然估计”法，我们需要最大化函数

对上式进行求对数运算，得到“对数似然函数”：

最大化等价于最小化。这里待估参数为，继续对求偏导：

其中函数表示Sigmoid函数，表示样本的第个属性值；

通过“梯度下降算法”得到的更新公式：

其中称为学习率，表示第个样本的第个属性值。