《机器学习读书笔记》对数几率回归

Heaviside函数：

将分类任务的真实标记y与线性回归模型的预测值联系起来。

考虑二分类任务，其输出标记y∈{0,1}，而线性回归模型产生的预测值z=wTx+b是实值，于是，我们需将实值z转换为0/1值。最理想的是“单位阶跃函数”(unit-step function)

 但是单位阶跃函数不连续，因此不能直接用作式(3.15)中的g-(·)。于是我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”(surrogate function)，并希望它单调可微。对数几率函数(logistic function)正是这样一个常用的替代函数：

 

将对数几率函数作为g-(·)代入式(3.15)，得到

该式是在用线性回归模型的预测结果去逼近真实标记的对数几率，因此，其对应的模型称为“对数几率回归”（logisticregression，亦称logit regression）。